介于 SFT 与 RL 之间：on-policy 监督微调框架兼顾泛化与算力效率

一项研究提出 on-policy 监督微调框架，目标是在标准监督管线的算力成本下取得接近 RL 的泛化收益。该框架针对 LLM 后训练的两难：SFT 算力高效但泛化差、易灾难性遗忘，RL 泛化好却算力开销大、依赖稀缺的可靠奖励信号、样本效率低。研究重点在建立其理论基础，为 RL 之外的后训练路径提供选项。