研究者 Micah Goldblum 警告：RLVR 激进探索会让 LLM 退化，奖励只监督极小部分知识

研究者 Micah Goldblum 警告，LLM 的 RLVR 中奖励只监督模型知识极小的一部分，激进探索会导致模型退化。他指出，传统 RL 从零训练时高奖励意味着好模型，但已预训练的 LLM 即使忘掉维基百科大部分内容仍能拿到高奖励。探索算法常试到糟糕的解、偶尔撞上金矿，而奖励覆盖面极小让模型从退化中恢复的代价很高。