arXiv cs.CV· Gunwoo Lee, Yoori Oh, Yoseob Han·· 4 小时前AI 评分33
Watch Your Speech（WYS）：用文本条件实现文本感知的视频转语音合成
Watch Your Speech: Text-aware Video-to-Speech Synthesis with Textual Conditioning
AI 导读
Watch Your Speech（WYS）用文本条件作为显式语言线索做视频转语音合成，通过注意力嵌入融合模块结合文本与视频序列，并以条件流匹配目标生成高保真语音。在 LRS2 与 LRS3 上，WYS 在音视频同步指标 LSE-C/D 上取得新 SOTA，WER 保持竞争力，主观评测显示自然度接近真人。该工作已被 BMVC 2026 接收。
来源：arXiv cs.CV · arxiv.org