热点事件持续更新
研究者称RL病理多源于在线训练而非奖励函数
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
2026年10月13日，据 AGI Hunt 报道，研究者 Quintin Pope 提出，强化学习（RL）中常见的熵崩塌、奖励 hack 等病理，更多源于「在线」训练这一形式本身，而非奖励函数的具体细节。他指出，业界习惯把 RL 与在线训练捆绑在一起，例如 RLVR 的做法是先让模型尝试生成轨迹，再对轨迹打分，最后在这些轨迹上进行训练。基于这一判断，他设想用 Self Imitation 替代在线 RL：只模仿成功轨迹，从而规避上述病理问题。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月13日
- AGI HuntQuintin Pope：RL 病理多源于在线训练而非奖励函数
Quintin Pope 提出，熵崩塌、奖励 hack 等 RL 常见病理更多源于「在线」训练本身，而非奖励函数细节；业界却习惯把 RL 与在线训练绑定，如 RLVR 先让模型尝试轨迹、打分再在轨迹上训练。他据此设想用只模仿成功轨迹的 Self Imitation 替代在线 RL，以规避这些病理问题。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。