ExpDis 解耦 RL 探索与优化，防通用能力退化

Exploration-Distillation（ExpDis）把学生模型与探索者的退化隔离开来，从而防止在 RL 中直接使用 novelty bonus 时出现的通用能力与知识退化。实验显示，将 ExpDis 与随机网络蒸馏（RND）结合，在匹配的墙钟时间下能取得更好的 RLVR 效果。这些增益在 pass@k（大 k）下持续甚至增长，表明提升的是多样性而非单纯的 sharpening。

Micah Goldblum 提出 Exploration-Distillation（ExpDis），把 RL 探索与优化解耦，先用带激进探索机制的 RL 训练「探索者」LLM 合成数据，再把成功发现蒸馏进学生模型。

研究者 Micah Goldblum 警告，LLM 的 RLVR 中奖励只监督模型知识极小的一部分，激进探索会导致模型退化。他指出，传统 RL 从零训练时高奖励意味着好模型，但已预训练的 LLM 即使忘掉维基百科大部分内容仍能拿到高奖励。探索算法常试到糟糕的解、偶尔撞上金矿，而奖励覆盖面极小让模型从退化中恢复的代价很高。

研究者 Micah Goldblum 发布 RL 框架 Exploration-Distillation（ExpDis），将探索与优化解耦，让探索者模型激进探索并蒸馏出学生模型，据称性能大幅超越 DAPO 等标准算法。作者称 ExpDis 能隔离探索者与学生模型的退化，防止使用 novelty bonus 时的通用能力与知识退化；匹配训练时间下优于 RND。

研究者 Micah Goldblum 提出 Exploration-Distillation（ExpDis）强化学习框架，旨在解锁 LLM 在 RL 中的激进探索能力，性能大幅超越 DAPO 等标准算法。该方法将探索者（explorer）与学生（student）隔离，避免探索者能力退化污染学生模型，在提升探索多样性的同时保持通用能力。在匹配时间下，ExpDis 表现优于 RND。

研究者 Micah Goldblum 发布 Exploration-Distillation 强化学习框架，目标是解锁 LLM 在 RL 阶段的激进探索能力，性能大幅超越 DAPO 等标准算法。其核心观察是 RLVR 中的 LLM 已经过预训练，奖励只监督模型知识的极小部分，现有算法因此难以让模型在 RL 中真正发现新知识。该框架还能防止 RL 中通用能力退化，在匹配时间下优于 RND。