热点事件持续更新
RL训练漂移被证实等价于向采样模型蒸馏
2 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
2026年10月16日，AGI Hunt 报道 nrehiew 对强化学习训练漂移根源的解读：RL 训练-推理不匹配（TIM）引发的漂移项即 sampler 下的 score，数学上等价于向 sampler（采样器）做交叉熵蒸馏；而 rollout 模型在训练中不断变化，相当于一个「移动的教师」，蒸馏目标并非固定，由此带来训练不稳定。同日后续报道进一步介绍了 Score Centering：该论文提出修正方法是在梯度中减去这一交叉熵漂移项，实践中这个 stop-gradient 项只需取词表 topk(128) 并配合 ρ 重缩放，即可抵消偏差。早先报道只给出漂移的等价性解释，称该解读是当时最新进展，未涉及解决方案；后续报道则补充了上述修正思路。
AI 根据报道生成 · 53 分钟前更新
最新进展10月16日 12:17
Score Centering 提出在梯度中减去该漂移项，用词表 topk(128) 配合 ρ 重缩放抵消偏差。报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- AGI HuntScore Centering：RL 训练漂移被证实等价于向采样模型蒸馏
nrehiew 分析称，RL 训练-推理不匹配（TIM）引发的漂移项即 sampler 下的 score，等价于向 sampler 做交叉熵蒸馏，导致训练不稳。其解读 Score Centering 论文提出，修正方法是在梯度中减去这一交叉熵漂移项。实践中该 stop-gradient 项只需用词表 topk(128) 并配合 ρ 重缩放即可抵消偏差。
- AGI Huntnrehiew 解读 RL 训练漂移本质：向移动的 rollout 模型做蒸馏导致训练不稳
nrehiew 分析 RL 训练-推理不匹配（TIM）导致训练漂移的数学根源：漂移项等价于向 sampler 做交叉熵蒸馏，而 rollout 模型是「移动的教师」，由此带来训练不稳定。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。