跳到正文
原文
arXiv cs.CL· Yuxuan Chen, Yang Xiao, Jack Sun, Chak Sun, Brick Li, Sam·· 4 小时前AI 评分43

面向全双工语音语言模型的参考引导轮流对话风格迁移

Reference-Guided Turn-Taking Style Transfer for Full-Duplex Spoken Language Models

AI 导读

研究在全双工语音语言模型的残差流中定位出晚层方向 initiative vector,无需训练或标注即可从模型自身对话中提取,能提前最多 800 ms 预判接话时机。缩放该方向可将语音占比从 6-12% 提升至 42-61%(不干预为 21-30%),且一段简短参考录音即可迁移说话人的轮流风格,换用他人参考后 93-98% 的情况下匹配变差。

来源:arXiv cs.CL · arxiv.org