跳到正文
原文
arXiv cs.CL· Shashi Kumar, Yanis Labrak, Sergio Burdisso, Esa\'u Villatoro-Tello, Petr Motlicek, Kadri Hacioglu, Andreas Stolcke·· 3 小时前AI 评分45

伪标签作为奖励而非目标:面向半监督 ASR 的 GRPO 方法

Pseudo-Labels as Rewards, Not Targets: Group-Relative Policy Optimization for Semi-Supervised ASR

AI 导读

将伪标签用作 GRPO 的奖励参考而非 SFT 的训练目标,可避免学生模型继承教师错误:在银行领域基于 Whisper 生成标签,GRPO 相对 SFT 取得 29.3%–56.2% 的 WER 相对改善,该优势在四种 Whisper 尺寸、四个教师模型族、三个领域和四种语言上均成立。SFT 几乎 100% 逐字复现教师错误,GRPO 仅传递 27%。

来源:arXiv cs.CL · arxiv.org