AGI Hunt· nrehiew_·2026-10-16 12:17· 2 小时前AI 评分39

nrehiew 解读 RL 训练漂移本质：向移动的 rollout 模型做蒸馏导致训练不稳

RL 训练漂移本质:向移动的 rollout 模型做蒸馏导致不稳

AI 导读

nrehiew 分析 RL 训练-推理不匹配（TIM）导致训练漂移的数学根源：漂移项等价于向 sampler 做交叉熵蒸馏，而 rollout 模型是「移动的教师」，由此带来训练不稳定。

来源：AGI Hunt · agihunt.info