跳到正文
原文
AGI Hunt· antgroup·· 3 小时前AI 评分33

蚂蚁提出 PMOPD:子空间投影破解多教师蒸馏跷跷板

AI 导读

蚂蚁集团提出 PMOPD,用子空间投影缓解多教师策略蒸馏(MOPD)中的「能力跷跷板」问题。它从各任务累积参数位移构建子空间记忆,投影梯度与优化器更新,并用轻量级冲突探针指导任务排序。在 Code、Reasoning、Math 上,Qwen2.5-7B 与 Llama-3.1-8B 平均分分别提高 2.54 和 2.09 分。

来源:AGI Hunt · agihunt.info