X-Dubbing：时序与视觉约束下的语音到语音翻译

X-Dubbing 提出在时序与视觉约束下进行语音到语音翻译的跨语言配音方法，把任务拆为时间感知的语音到文本翻译和视频感知的文本到语音。Dubbing Translator 生成时间结构脚本，Voice Actor 按语言无关的时间预算与源视频同步，并用合成语音的配音感知反馈优化。无需配对配音数据，在 isochrony 和音画对应指标上优于近期基线。