WYS：文本条件视频转语音合成框架

2026年10月2日，arXiv cs.CV 报道了 Watch Your Speech（WYS）框架，用文本条件作为显式语言线索实现文本感知的视频转语音合成。该方法通过注意力嵌入融合模块将文本与视频序列结合，并以条件流匹配目标生成高保真语音。在 LRS2 与 LRS3 数据集上，WYS 在音视频同步指标 LSE-C/D 上取得新 SOTA，WER 保持竞争力；主观评测显示其自然度接近真人。论文已被 BMVC 2026 接收。目前仅见这一篇报道，尚无后续进展或他人复现信息。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。