Nemotron 3 Ultra 报告：多教师蒸馏需教师兼容

2026年10月2日，AGI Hunt 报道了 Nemotron 3 Ultra 的技术报告，核心结论关于 MOPD（多教师在线蒸馏）。报告指出，MOPD 并非任意教师组合都能生效，师生兼容性才是成败关键。其做法是：先由学生生成补全，再路由给教师模型，教师计算 token 级 log 概率，并以反向 KL 为目标把知识蒸馏回学生策略。报告称该方法可用于整合多个领域专精模型，也可用于修复多阶段训练中的能力回退。截至这篇报道，事件尚无更多后续进展披露。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。