跳到正文
原文
AGI Hunt· cneuralnetwork·· 3 小时前AI 评分46

CycleDistill:无需平行语料,首轮蒸馏即让印度语翻译 chrF 提升 20+ 分

AI 导读

CycleDistill 用 LLM 从单语文本生成合成翻译来微调模型并循环迭代,无需大规模平行语料;Gemma 2B 零样本设定下首轮蒸馏使孟加拉语、印地语、马拉雅拉姆语 chrF 分别提升 +26.3、+29.6、+24.5。Gemma 9B 对应提升为 +19.7/+16.5/+20.3,且绝大部分提升集中在第一轮,后续迭代常停滞甚至因自我强化错误而退化。

来源:AGI Hunt · agihunt.info