X-Dubbing：时序与视觉约束的语音翻译方法

2026年10月26日，arXiv cs.CL 报道 X-Dubbing，一种在时序与视觉约束下进行语音到语音翻译的跨语言配音方法。该方法把任务拆为时间感知的语音到文本翻译和视频感知的文本到语音：Dubbing Translator 生成具有时间结构的脚本，Voice Actor 依据与语言无关的时间预算与源视频同步，并利用合成语音的配音感知反馈进行优化。报道称其无需配对配音数据，在等时性（isochrony）和音画对应指标上优于近期基线。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。