Reddit 热议 agent 跑测试到绿是否等于刷训练集

2026 年 10 月 3 日，AGI Hunt 报道，Reddit 上一位具有机器学习背景的用户对 coding agent 的常见工作流提出质疑：让 agent 反复运行测试直到全部通过，再以此判定任务是否完成。该用户认为，这相当于用同一套测试集既当训练信号又当评估标准，等同于在训练集上打分，因而难以反映 agent 在真实、未见过的任务上的能力。这一质疑在 Reddit 上引发热议。报道未提及该讨论涉及的具体 agent 产品、测试集，也未给出后续结论或相关方的回应。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。