AGI Hunt· cwolferesearch·· 3 小时前AI 评分43
Nemotron 3 Ultra 技术报告:MOPD 多教师蒸馏中教师兼容性是关键
Nemotron 3 Ultra 技术报告:MOPD 多教师蒸馏中教师兼容性是关键
AI 导读
Nemotron 3 Ultra 技术报告指出,MOPD 多教师在线蒸馏并非任意教师组合都能生效,师生兼容性才是成败关键。MOPD 让学生生成补全后路由给教师,教师计算 token 级 log 概率并以反向 KL 目标蒸馏回学生策略,可用于整合领域专精模型或修复多阶段训练中的能力回退。
来源:AGI Hunt · agihunt.info