热点事件持续更新
诊断 on-policy 自蒸馏对推理模型的效果
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
2026年10月1日，arXiv cs.CL 发布一项对推理语言模型在线策略自蒸馏（OPSD）的诊断研究。该研究在 0.6B–8B 参数模型上发现，OPSD 只在狭窄的兼容区间内提升推理表现；教师信号取决于推理模式对齐与完整教师前缀，而非仅靠特权语义。在其余情况下会出现无效长度增长、稳定退化或行为崩溃。token 级分析进一步显示，教师信号不稳定，且不能预测下游表现。作者据此认为，OPSD 是一种敏感算法，而非普遍可靠的推理后训练方法。
AI 根据报道生成 · 2 小时前更新
最新进展10月1日 12:00
新诊断显示 OPSD 仅在狭窄兼容区间提升推理，作者称其为敏感算法而非普遍可靠方法。报道时间线
沿着报道，了解事件的不同侧面。
10月1日
- arXiv cs.CL诊断推理语言模型的 On-Policy Self-Distillation（OPSD）
对推理语言模型在线策略自蒸馏（OPSD）的诊断显示，它只在狭窄兼容区间内提升推理。在 0.6B–8B 参数模型上，教师信号取决于推理模式对齐与完整教师前缀，而非仅靠特权语义；其余情况会出现无效长度增长、稳定退化或行为崩溃。token 级分析显示教师信号不稳定、不预测下游表现，作者认为 OPSD 是敏感算法，而非普遍可靠的推理后训练方法。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。