ReMaRk 方法修正 GRPO 奖励噪声，LLM 推荐训练步数省一半以上

ReMaRk 让生成的推荐列表一次性对全部 Reddit 回复标题的并集打分，并对每个请求等权重采样，修正 Rank-GRPO 每样本只取一条回复带来的奖励噪声。在 7 个骨干模型和 3 个数据集上，ReMaRk 只需 Rank-GRPO 25%–53% 的步数即可达到 2000 步验证召回水平，7 组对比中 4 组以更少 GPU 时数达到其最佳水平。