跳到正文
原文
arXiv cs.AI· Sheldon Yu, Tong Yu, Nikki Lijing Kuang, Zhendong Chu, Zhenwei Tang, Sungchul Kim, Lina Yao, Julian McAuley, Junda Wu·· 11 小时前AI 评分42

失败乃成功之母:RSHD 从失败尝试中恢复 GRPO 监督信号

Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight

AI 导读

RSHD 让 GRPO 从失败的尝试中恢复监督信号:策略在不看参考答案的情况下为每次失败写出纠正笔记,再带着笔记重解该题。只有回放成功率高于原始组、且不直接写出答案的笔记才会被采纳并蒸馏进普通提示词策略,部署时无需笔记或额外推理。在多个模型族、模型规模与两种训练域上,RSHD 在域内 benchmark 稳定优于 GRPO,增益可迁移到域外评测集。

来源:arXiv cs.AI · arxiv.org