arXiv cs.CL· Jeongsoo Choi, Junseok Ahn, Joon Son Chung·· 3 小时前AI 评分34
DIAL-S2ST：为同声语音到语音翻译学习延迟控制
DIAL-S2ST: Learning Latency Control for Simultaneous Speech-to-Speech Translation
AI 导读
DIAL-S2ST 提出一种后训练方法，让同声语音到语音翻译模型在推理阶段可调节延迟。该方法通过 lookahead 预测自蒸馏复用已有翻译能力，无需配对目标数据或奖励计算即可监督更早输出，并用单个 LoRA adapter 跨规模联合训练实现时序可调。在 Hibiki 上的法译英实验中，仅 10 小时源语音即可完成适配，取得较好的质量-延迟权衡。
来源：arXiv cs.CL · arxiv.org