跳到正文
原文
AGI Hunt· micahgoldblum·· 2 小时前AI 评分34

Exploration-Distillation 防止 RL 中通用能力退化,匹配时间下优于 RND

Exploration-Distillation防止RL中通用能力退化,匹配时间下优于RND

AI 导读

Exploration-Distillation(ExpDis)把学生模型与探索者的退化隔离开来,从而防止在 RL 中直接使用 novelty bonus 时出现的通用能力与知识退化。实验显示,将 ExpDis 与随机网络蒸馏(RND)结合,在匹配的墙钟时间下能取得更好的 RLVR 效果。这些增益在 pass@k(大 k)下持续甚至增长,表明提升的是多样性而非单纯的 sharpening。

来源:AGI Hunt · agihunt.info