SFT 学正向 KL、OPD 学几何平均：论文解释两者遗忘差异根源

研究者 @diqiwei 发现在线偏好蒸馏（OPD）比 SFT 遗忘更少，但在教师不匹配和长 rollout 下会崩。论文解释称多教师场景下 SFT（前向 KL）学到的是教师的算术混合，OPD（反向 KL）学到的是归一化几何平均。作者在 AI 使用声明中称用 GPT 5.6 Sol、GPT 6 Astra、Claude Fable 5、Grok 4.6 辅助写作并证明关键技术引理。