开发者提醒：别把 eval 当单元测试

2026年10月5日，AGI Hunt 报道，开发者 chiziaruhoma 就 AI 评测（eval）的用法提出提醒：不应把 eval 当成非过即败的单元测试。他指出，eval 每次运行得到的分数都会波动，因此孤立地给出一个「85%」并没有意义，关键在于说明这个分数是多少次运行、在哪些 prompt、哪种模型设置下得出的。该观点面向做 agent 与模型评测的工程师，强调评测具有统计性质，套用传统软件测试的非过即败思维并不合适。截至该报道，此事仍为一次观点分享，报道中未提及后续动作或其他开发者的回应，也没有出现与早先报道不一致的数字或说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。