AGI Hunt· HamelHusain·· 1 小时前精选AI 评分65
Hamel Husain 质疑 Terminal-Bench 等四个基准存在评分缺陷
Hamel Husain质疑主流基准质量:Terminal-Bench等四大基准均被判Flawed
AI 导读
Hamel Husain 发帖质疑行业对公开基准的依赖与其质量不匹配,并引用 Epoch AI 独立基准审查站点的结论,指出 Terminal-Bench 4.0.0、DeepSWE v1.1、OSWorld 2.1 和 HealthBench Professional 均存在评分缺陷。
推荐理由
文中列出四个常用基准各自的缺陷比例与错误类型,并给出使用前的检查建议,可作为判断评测结论可信度的参考。
来源:AGI Hunt · agihunt.info