Reddit 热议 agent 评测非确定性难题

2026 年 10 月 13 日，AGI Hunt 报道了 Reddit 上一则关于 agent 评测的讨论。用户 SnooDingos9560 提出核心困境：换 prompt 或换模型后结果「感觉不同」，但 agent 输出本身是非确定性的，无法直接 diff 对比。他指出现有做法各有短板——固定任务集手工重跑会随任务变化而过时，用 LLM 当裁判自带偏见，按 checklist 打分则覆盖范围有限。他因此向社区征询实际采用的评测方法，以及是否真的靠这些方法抓到过模型或提示词改动带来的回归。报道称评论区含一线经验，但未给出结论性答案。截至该报道，这一评测难题仍处于社区经验分享与讨论阶段。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。