跳到正文
原文
AGI Hunt· npinto·· 4 小时前AI 评分38

AI eval 社区共识:没有基线跑分的 env+scorer 不算数

AI eval 社区共识:没有基线跑分的 env+scorer 不算数

AI 导读

ItsJarrodTran 指出,发布 eval 仅有环境和打分器不够,必须附上基线跑分,否则没人知道自己的数字到底好不好;npinto 附议称这年头太容易发低质 eval 稀释整个领域。这场讨论针对的是智能体评测的工程规范。

来源:AGI Hunt · agihunt.info