跳到正文
原文
AGI Hunt· yi111·· 3 小时前AI 评分35

Reddit 热议:基准分数高不等于好用,模型评测缺了什么

Reddit 热议:基准分数高不等于好用,模型评测缺了什么

AI 导读

Reddit 网友 yi111 发帖指出,模型在 benchmark 上分数极高,日常使用却可能令人沮丧。他认为真实用户在意的是系统能否主动澄清模糊需求、记住正确上下文、处理杂乱输入、承认错误,以及完成任务时不制造新问题。yi111 不否认 benchmark 在对比模型进步上的价值,但认为其无法覆盖依赖 AI 系统的完整体验,并向社区征集真实世界测试方案。

来源:AGI Hunt · agihunt.info