arXiv cs.AI· Wenxuan Luo, Chenxi Li, Haoyue Liu, Yongxin Guo, Xiaoying Tang·· 9 小时前AI 评分37
CCE-OPD：面向语言模型在线策略蒸馏的条件对比外推方法
Condition-Contrastive Extrapolation for On-Policy Distillation of Language Models
AI 导读
CCE-OPD 让在线策略蒸馏的教师监督对问题条件敏感，避免教师偏好违反问题前提的无效续写。在 200 个诊断推理状态上，偏好无效续写的比例从 27.0% 降至 16.0%；将 Qwen3-8B 蒸馏到 0.6B 和 1.7B 学生时，六个数学基准的 avg@8 比 OPD 平均提升 1.60 和 1.95 个百分点。该方法还在四个迁移基准上取得最强结果。
来源：arXiv cs.AI · arxiv.org