热点事件持续更新
NVIDIA 提出 Semi-OPD 离线学生轨迹蒸馏
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026 年 10 月，NVIDIA 提出 Semi-OPD（离线学生轨迹蒸馏），对“在线蒸馏（OPD）是否总是更优”提出质疑。该方法在初始学生模型自身产生的离线 rollout 上做蒸馏，而非依赖在线策略采样。研究覆盖 1.5B–235B 的 17 组师生配对，Semi-OPD 在其中 14 组胜过在线蒸馏，准确率最高提升 13%，训练提速最高 11 倍。研究以输出 token 重叠率刻画师生初始对齐度，指出只有初始对齐度高的配对，OPD 才占优；师生错配时，在线蒸馏的信号会被稀释。目前公布的是这 17 组对比的实验结果。
AI 根据报道生成 · 3 小时前更新
最新进展10月12日 17:17
NVIDIA 公布 17 组师生配对对比：Semi-OPD 在 14 组胜过在线蒸馏，最高提分 13%。报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- AGI HuntNVIDIA 研究：离线学生轨迹蒸馏在 17 组对比中 14 次胜过在线蒸馏
NVIDIA 提出 Semi-OPD：在初始学生模型的离线 rollout 上蒸馏，质疑 on-policy 蒸馏（OPD）是否总是必要。覆盖 1.5B–235B 的 17 组师生配对中，Semi-OPD 在 14 组胜出，准确率最高 +13.6%，训练提速最高 11.4 倍。研究以输出 token 重叠率刻画师生初始对齐度，只有高重叠时 OPD 才占优，错配配对中蒸馏信号会被稀释。
本事件热度走势
当前热度 9·可比范围峰值 10（10月12日 18:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。