arXiv cs.CL· Haojin Wang, Dylan Zhang, Huaibo Chen, Suhao Yu, Yihang Sun, Zhanyang Jin, Jiaying Ye, Dianqi Li, Prasanna Sattigeri, Kamal Youcef-Toumi, Hao Peng·· 4 小时前AI 评分36
OLIVE：在学生的状态上向教师续写学习
Learning from Teacher Continuations at Student States
AI 导读
OLIVE 是一种在线语言模型蒸馏方法，每轮由学生生成前缀、教师自回归续写，学生用教师生成 token 的交叉熵更新。在可比 GPU 小时成本下，其推理性能高于 OPD（top-16 KL 近似），异步实现进一步减少 23.8% 训练时间。仅用 GPT-5.4-mini 的文本，在 ScienceWorld 上持续训练比同教师离线 SFT 高 13%。
来源：arXiv cs.CL · arxiv.org