跳到正文
原文
AGI Hunt· emeka_boris·· 8 小时前AI 评分34

开发者 chiziaruhoma:别把 eval 当单元测试,分数每次跑都会变,单独的 85% 无意义

别把 eval 当单元测试:分数每次跑都会变,85% 单看无意义

AI 导读

开发者 chiziaruhoma 指出,不应把 AI 评测(eval)当成非过即败的单元测试,eval 每次跑出的分数都会波动,所以单独一个「85%」没有意义。关键要说明是多少次运行、哪些 prompt、哪种模型设置下得出的。这一观点提醒做 agent/模型评测的工程师关注评测的统计性质,而非套用传统测试思维。

来源:AGI Hunt · agihunt.info