跳到正文
原文
AGI Hunt· zillow·· 12 小时前AI 评分40

Latent-MOPD:表征级多教师在线蒸馏,单一学生超越每位教师

Latent-MOPD:表征级多教师在线蒸馏,单一学生超越每位教师

AI 导读

Latent-MOPD 提出首个表征级多教师在线蒸馏:除 token 预测外,还通过教师隐状态向学生传递知识,无需额外训练教师。同族设定下,它在数学、代码、逻辑共九个基准上超过仅 token、仅表示、均匀平均三种基线,与每位教师参数量相同的学生在多数基准上超过逐基准最优教师。跨族教师更大时全部基准优于单通道基线;消融发现全层表示监督在领域纯净更新下稳定,混合领域更新崩溃。

来源:AGI Hunt · agihunt.info