热点事件持续更新
SCOUT:教师适配学生前缀改进on-policy蒸馏
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
on-policy 蒸馏(OPD)中,学生模型按自身策略生成路径,教师模型需要对这些路径给出 token 级监督。但教师很少走到这些陌生路径,随着路径变长,即使强教师的 token 级监督也会变得不可靠,即所谓「教师问题」。针对这一点,SCOUT(Student-COnditioned Updates of the Teacher)提出让学生模型与教师模型一起学习:教师依据学生的前缀进行适配,从而在陌生的学生路径上保持可靠监督。2026 年 10 月 15 日,AGI Hunt 报道了该方法,称其用于修复 on-policy 蒸馏的监督失真。目前公开信息为该方法本身的介绍,尚未见后续实验或应用进展的报道。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 22:10
2026年10月15日报道,SCOUT 让教师依据学生前缀适配,缓解 on-policy 蒸馏的监督失真。报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- AGI HuntSCOUT 让教师模型适配学生前缀,修复 on-policy 蒸馏的监督失真
SCOUT(Student-COnditioned Updates of the Teacher)让学生模型与教师模型一起学习,教师依据学生的前缀进行适配,从而在陌生的学生路径上保持可靠监督。该方法针对 on-policy distillation(OPD)的「教师问题」:教师需对自己很少走到的路径给出反馈,随着路径变长,即使强教师的 token 级监督也变得不可靠。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。