KAIST提出Pivot-SD：只蒸馏关键去噪决策

KAIST AI 团队提出 Pivot-SD 框架，面向掩码扩散语言模型的蒸馏。该方法用信息增益度量识别并行去噪过程中的高影响力 pivot，即关键去噪决策，只对这些位置施加监督：成功轨迹用交叉熵损失，失败轨迹用针对性 unlikelihood 监督，其余位置保持不变。团队称，仅用 200 道题、每题 4 次采样，就让 LLaDA-8B-Instruct 在数学与代码基准上超过全序列 SFT，以及算力对齐的扩散 RL 基线。目前公开信息为该方法与结果本身，尚未出现后续复现或第三方评测的报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。