跳到正文
原文
AGI Hunt· ChrSzegedy·· 2 小时前AI 评分44

Meta 发布 AutoformBench:341 道题实测前沿模型 Lean 形式化能力与成本

Meta 发布 AutoformBench:341 道题实测前沿模型 Lean 形式化能力与成本

AI 导读

Meta AI 团队发布 AutoformBench,用 341 道研究生及科研级数学证明任务评测前沿模型的 Lean 4 形式化能力与成本。基准给出各模型在每任务最大花费 1/10/50/100/200 美元档下的解题数对比,这也是此前缺少的公开成本数据。发布前 openai/math 中约只有 42% 的结果可被形式化。

来源:AGI Hunt · agihunt.info