UIUC 提出 Proximal KL：off-policy RLVR 免裁剪正则，数学基准最高提升 2.58%

UIUC 提出 Proximal KL，将 proximal 参考与采样策略分离，用有界未来 KL 信用替代 PPO 裁剪，实现免裁剪的 off-policy RLVR 正则。在 Qwen3-1.7B 与 Qwen3-4B 的七组 off-policy 对比中，八个数学基准微平均准确率最高超 GRPO 2.58%。周期性刷新实验还避免了 PG 与 CISPO 的训练崩溃。