跳到正文
原文
AGI Hunt· Tanmoy_Chak·· 5 小时前AI 评分34

NeurIPS 论文 CaRE-KD:让学生模型学会何时该信任蒸馏教师

AI 导读

被 NeurIPS 2026 接收的 CaRE-KD 让学生模型自行决定何时信任蒸馏教师,预印本已发布。其 token 级置信度门控依据教师的确定程度,在 mean-seeking 与 mode-seeking 散度之间切换;序列级拒绝机制则丢弃教师在认知上不如学生可靠的更新,以应对标准 KD 强制学生照搬教师幻觉预测、覆盖学生正确先验的问题。

来源:AGI Hunt · agihunt.info