跳到正文
热点事件持续更新

Scale AI 发布 MA-Bench 评测基准

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

2026 年 10 月 15 日,Scale AI 与 Data Machines 发布 MA-Bench 基准,借鉴军事作战规划中的「任务分析」步骤,在没有唯一正确答案的场景中评测大语言模型。该基准覆盖 20 个前沿与开源模型,表现最好者仅答对 62% 的 rubric 条目。分项结果显示,模型在文档明述事实类条目上最强,正确率 58%;在需要推断的判断类条目上最弱,仅 33%;六成失败属于遗漏而非错误。发布方将数据包、rubric、prompt、评分器与逐条评分全部开源。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. AGI Hunt
    Scale AI 发布 MA-Bench:借鉴军事任务规划测 LLM,最强模型仅答对 62%

    Scale AI 与 Data Machines 发布 MA-Bench,借鉴军事作战规划的「任务分析」步骤,在没有唯一正确答案的场景中评测 LLM。20 个前沿与开源模型中最好者仅答对 62% 的 rubric 条目,文档明述事实最强(58%)、需推断的判断最弱(33%),六成失败是遗漏而非错误。数据包、rubric、prompt、评分器与逐条评分全部开源。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。