跳到正文
原文
AGI Hunt· zju·· 2 小时前AI 评分46

浙大团队实测10种自蒸馏方法:多数未稳定超越GRPO

AI 导读

浙大团队将 10 种自蒸馏方法与 GRPO 在四个环境和三种模型规模下直接对比,共 132 次训练运行、12,124.4 H800 GPU 小时。结果显示相对 GRPO 的提升有限,没有任何方法能在所有设置下稳定胜出,且最终性能好的方法训练过程可能很不稳定。额外训练成本也未一致转化为性能提升。

来源:AGI Hunt · agihunt.info