上海 AI Lab 等重新审视在线蒸馏：强教师未必是好监督源

浙江大学、上海 AI Lab 等研究在线蒸馏（OPD）的相对策略差异迁移条件，结论是更强的专家未必是更好的监督源。研究以代理专家与代理参考间的 log-probability 比定义 KL 正则策略优化的隐式奖励，支持跨规模、跨代迁移。来自 RL、SFT 等任务特定训练的差异迁移一致有效，仅由模型规模带来的差异迁移弱甚至无效。