跳到正文
原文
AGI Hunt· HamelHusain·· 1 小时前精选AI 评分65

Hamel Husain 质疑 Terminal-Bench 等四个基准存在评分缺陷

Hamel Husain质疑主流基准质量:Terminal-Bench等四大基准均被判Flawed

AI 导读

Hamel Husain 发帖质疑行业对公开基准的依赖与其质量不匹配,并引用 Epoch AI 独立基准审查站点的结论,指出 Terminal-Bench 4.0.0、DeepSWE v1.1、OSWorld 2.1 和 HealthBench Professional 均存在评分缺陷。

推荐理由

文中列出四个常用基准各自的缺陷比例与错误类型,并给出使用前的检查建议,可作为判断评测结论可信度的参考。

来源:AGI Hunt · agihunt.info