跳到正文
原文
AGI Hunt· generativist·· 3 小时前AI 评分30

在真实生产数据上跑 Eval:被忽视的 Agent 评测实践

AI 导读

Agent 评测应在真实生产数据(prod data)上跑,而不是只在人工构造的测试集上验证,这是应对「离线 benchmark 分数高、上线表现差」的常见实践对策。该观点出自 generativist 在 X 上的简短转发,未展开具体做法细节。

来源:AGI Hunt · agihunt.info