Latent-MOPD：表征级多教师在线蒸馏方法

2026年10月6日，AGI Hunt 报道称，有研究者提出 Latent-MOPD，称其为首个表征级多教师在线蒸馏方法：除 token 预测外，还通过教师隐状态向学生传递知识，且无需额外训练教师。报道称，在同族设定下，该方法在数学、代码、逻辑共九个基准上超过仅 token、仅表示、均匀平均三种基线；与每位教师参数量相同的学生在多数基准上超过逐基准最优教师。跨族且教师更大时，该方法在全部基准上优于单通道基线。消融实验发现，全层表示监督在领域纯净更新下表现稳定，而混合领域更新会崩溃。目前仅有这一篇报道，尚无其他来源或后续进展的披露。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。