arXiv cs.AI· Zongyao Zhao, Cheng-Jie Zhao, Ruihang Jiang, Bing Zheng, Zhaolin Wang, Yuanwei Liu·· 3 小时前AI 评分40
何时停止惩罚动作？面向 VLA 强化学习的 Martingale GRPO
When to Stop Penalizing Actions? Martingale GRPO for VLA Reinforcement Learning
AI 导读
MART-GRPO 用经 LoRA 微调的 VLM 在完整 rollout 视频中定位最后一个未被恢复的可见错误，并据此截断 GRPO 的失败反馈，避免把失败 rollout 中有用的恢复尝试一并惩罚。在 RoboTwin 2.0 上用 OpenVLA-OFT 测试，MART-GRPO 在多个任务上的成功率高于全轨迹 GRPO。
来源：arXiv cs.AI · arxiv.org