AGI Hunt· micahgoldblum·· 2 小时前AI 评分34
Exploration-Distillation 防止 RL 中通用能力退化,匹配时间下优于 RND
Exploration-Distillation防止RL中通用能力退化,匹配时间下优于RND
AI 导读
Exploration-Distillation(ExpDis)把学生模型与探索者的退化隔离开来,从而防止在 RL 中直接使用 novelty bonus 时出现的通用能力与知识退化。实验显示,将 ExpDis 与随机网络蒸馏(RND)结合,在匹配的墙钟时间下能取得更好的 RLVR 效果。这些增益在 pass@k(大 k)下持续甚至增长,表明提升的是多样性而非单纯的 sharpening。
来源:AGI Hunt · agihunt.info