arXiv cs.CV· Jing-Xuan Zhang, Genshun Wan, Jianqing Gao, Jia Pan, Yumei Zhang, Lichen Zhang·· 4 小时前AI 评分40
FLARE：用跨模态蒸馏与联合人脸-唇部建模学习视觉语音表征
Learning Visual Speech Representations via Cross-Modal Distillation and Joint Face-Lip Modeling
AI 导读
FLARE 通过跨模态蒸馏与联合人脸-唇部建模学习视觉语音表征，在 LRS2、LRS3、WildVSR 上的词错误率分别为 11.7%、13.2%、34.3%。它以 Whisper 表征作为声学教师信号，经随机投影量化器转为离散蒸馏目标，并用双流架构分别处理唇部 ROI 与全脸输入。下游可搭配轻量 Transformer 解码器或基于 LLM 的解码器，代码与预训练模型已公开。
来源：arXiv cs.CV · arxiv.org