跳到正文
热点事件持续更新

CriticOPD:修复在线蒸馏的可恢复性缺陷

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

2026 年 10 月 15 日,AGI Hunt 报道,BYU 与 UNC 教堂山分校提出 CriticOPD,针对在线蒸馏(OPD)中被忽视的可恢复性缺陷:在 OPD 中,教师模型虽能识别学生的错误,却会顺着学生的错误前缀继续往下写,无法把学生带出错误路径,导致监督失效。CriticOPD 的做法是让教师对学生的错误 rollout 给出批判,学生再根据这些批判重写解法;而学生自身的训练只使用不含批判的修订版本。研究者在两个 Qwen3 学生模型和六个数学推理基准上做了评测,称 CriticOPD 均优于 OPD,其中竞赛类题目的提升幅度最大。报道未给出具体分数、模型规模或与其它基线方法的对比细节。

AI 根据报道生成 · 59 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. AGI Hunt
    CriticOPD 发现教师会跟着学生错误走,用批判引导修复在线蒸馏监督

    BYU 与 UNC 教堂山分校提出 CriticOPD,修复在线蒸馏(OPD)被忽视的可恢复性缺陷:教师能识别学生错误,却会顺着错误前缀继续写。方法让教师对错误 rollout 给出批判、学生据此重写解法,学生训练只用不含批判的修订版本。在两个 Qwen3 学生模型和六个数学推理基准上,CriticOPD 均优于 OPD,竞赛类题目提升最大。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。