在真实生产数据上跑 Eval：被忽视的 Agent 评测实践

2026 年 10 月 16 日，AGI Hunt 报道了关于 Agent 评测实践的一种观点：Agent 评测应在真实生产数据（prod data）上跑，而不是只在人工构造的测试集上验证。报道称，这一做法被视为应对「离线 benchmark 分数高、上线表现差」这一常见问题的实践对策，即离线基准成绩与线上实际表现之间存在落差时的应对思路。报道指出，该观点出自 generativist 在 X 上的一次简短转发，未展开具体做法细节，因此目前尚无公开的落地方法、工具或验证数据。截至目前，此事仅停留在观点提出与转述层面，没有更多进展，也不存在与前报道相互矛盾的数字或说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。