蚂蚁提出 PMOPD 缓解多教师蒸馏干扰

2026年9月30日，蚂蚁集团提出 PMOPD 方法，用于缓解多教师策略蒸馏（MOPD）中的「能力跷跷板」问题，即学生模型同时向多个教师学习时，不同任务的能力此消彼长、相互干扰。该方法从各任务累积的参数位移构建子空间记忆，把梯度与优化器更新投影到该子空间，并用轻量级冲突探针指导任务排序。实验覆盖 Code、Reasoning、Math 三类任务，Qwen2.5-7B 与 Llama-3.1-8B 的平均分分别提高 2.54 分和 2.09 分。报道未披露训练开销、教师数量及更大规模模型上的表现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。