浙大实测10种自蒸馏方法：多数未稳定超越GRPO

2026年10月15日，AGI Hunt 报道，浙江大学团队对 10 种自蒸馏方法与 GRPO 进行了直接对比实测。实验覆盖四个环境和三种模型规模，共完成 132 次训练运行，累计消耗 12,124.4 H800 GPU 小时。结果显示，相对 GRPO，这些自蒸馏方法带来的提升有限，没有任何一种方法能在所有设置下稳定胜出；部分最终性能较好的方法，其训练过程可能很不稳定。研究还发现，额外的训练成本并未一致地转化为性能提升。截至目前，该实测的主要结论是自蒸馏方法多数未能在各种设置下稳定超越 GRPO。

AI 根据报道生成 · 59 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。