Quintin Pope：RL 病理多源于在线训练而非奖励函数

Quintin Pope 提出，熵崩塌、奖励 hack 等 RL 常见病理更多源于「在线」训练本身，而非奖励函数细节；业界却习惯把 RL 与在线训练绑定，如 RLVR 先让模型尝试轨迹、打分再在轨迹上训练。他据此设想用只模仿成功轨迹的 Self Imitation 替代在线 RL，以规避这些病理问题。