超越 On-Policy 与 Off-Policy：LLM Agent 蒸馏应在哪个层面跟随学生模型？

研究提出分层 LLM Agent 蒸馏框架，将交互历史与动作 token 前缀的 on-policy 程度分开控制。结果显示，学生生成历史配教师生成动作前缀的独立训练信号最强，两个层面都跟随学生通常最差；完全 on-policy 数据与其他配置混合时才有益，且相同师生比例下两个层面的配对方式仍显著影响性能。训练调度上，先教师上下文、后完全 on-policy 优于静态混合。