跳到正文
原文
AGI Hunt· Kaixiang Zhao·· 2 小时前AI 评分42

CriticOPD 发现教师会跟着学生错误走,用批判引导修复在线蒸馏监督

CriticOPD 发现教师会跟着学生错误走,用批判引导修复在线蒸馏监督

AI 导读

BYU 与 UNC 教堂山分校提出 CriticOPD,修复在线蒸馏(OPD)被忽视的可恢复性缺陷:教师能识别学生错误,却会顺着错误前缀继续写。方法让教师对错误 rollout 给出批判、学生据此重写解法,学生训练只用不含批判的修订版本。在两个 Qwen3 学生模型和六个数学推理基准上,CriticOPD 均优于 OPD,竞赛类题目提升最大。

来源:AGI Hunt · agihunt.info