GRPO 后训练致分布坍缩，与长程 Agent 冲突

2026年10月16日，AGI Hunt 报道，yacinelearning 指出：用 GRPO 做后训练会让模型坍缩到一小组潜在答案上，出现分布上的「诡异锐化」，而在某些场景下这种锐化恰是想要的效果。但报道同时指出，到了 2026 年，模型越来越多地运行在长时间执行的 harness 中，需要 LLM 思考多种不同解法并组合式地行动，分布坍缩与这种用法存在冲突。据此，报道将 GRPO 后训练带来的分布坍缩视为长程 Agent 时代的隐患。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。