Score Centering：RL 训练漂移被证实等价于向采样模型蒸馏

nrehiew 分析称，RL 训练-推理不匹配（TIM）引发的漂移项即 sampler 下的 score，等价于向 sampler 做交叉熵蒸馏，导致训练不稳。其解读 Score Centering 论文提出，修正方法是在梯度中减去这一交叉熵漂移项。实践中该 stop-gradient 项只需用词表 topk(128) 并配合 ρ 重缩放即可抵消偏差。