NVIDIA 研究：离线学生轨迹蒸馏在 17 组对比中 14 次胜过在线蒸馏

NVIDIA 提出 Semi-OPD：在初始学生模型的离线 rollout 上蒸馏，质疑 on-policy 蒸馏（OPD）是否总是必要。覆盖 1.5B–235B 的 17 组师生配对中，Semi-OPD 在 14 组胜出，准确率最高 +13.6%，训练提速最高 11.4 倍。研究以输出 token 重叠率刻画师生初始对齐度，只有高重叠时 OPD 才占优，错配配对中蒸馏信号会被稀释。