AGI Hunt· Rodney Lafuente-Mercado·· 2 小时前AI 评分46
Scale AI 发布 MA-Bench:借鉴军事任务规划测 LLM,最强模型仅答对 62%
Scale AI 发布 MA-Bench:借鉴军事任务规划测 LLM,最强模型也只答对 62%
AI 导读
Scale AI 与 Data Machines 发布 MA-Bench,借鉴军事作战规划的「任务分析」步骤,在没有唯一正确答案的场景中评测 LLM。20 个前沿与开源模型中最好者仅答对 62% 的 rubric 条目,文档明述事实最强(58%)、需推断的判断最弱(33%),六成失败是遗漏而非错误。数据包、rubric、prompt、评分器与逐条评分全部开源。
来源:AGI Hunt · agihunt.info