arXiv cs.CL· Shangjian Yin, Zehao Zhao, Kavosh Asadi, Rui Liu, Yuchen Lu, Shike Mei, Hang Cui, Luke Simon, Zhouxing Shi, Hamed Firooz·· 2 天前AI 评分35
通过在线策略蒸馏实现推理的递归自我改进
Recursive Self-Improvement via On-Policy Distillation for Reasoning
AI 导读
研究提出由 DCE 与 SRCL 构成的递归在线策略蒸馏框架，让特权教师模型与学生共同演化，在四个竞赛级数学基准上超越 OPSD。在 Qwen3-8B 上，DCE+SRCL 达到 65.97% Average@12，比 OPSD 高出 35.62 个百分点。SRCL 额外以模型自身在线响应更短、经核验的改写进行训练，使平均输出长度较仅用 DCE 减少 7.80%。
来源：arXiv cs.CL · arxiv.org