AGI Hunt· ChrSzegedy·· 2 小时前AI 评分44
Meta 发布 AutoformBench:341 道题实测前沿模型 Lean 形式化能力与成本
Meta 发布 AutoformBench:341 道题实测前沿模型 Lean 形式化能力与成本
AI 导读
Meta AI 团队发布 AutoformBench,用 341 道研究生及科研级数学证明任务评测前沿模型的 Lean 4 形式化能力与成本。基准给出各模型在每任务最大花费 1/10/50/100/200 美元档下的解题数对比,这也是此前缺少的公开成本数据。发布前 openai/math 中约只有 42% 的结果可被形式化。
来源:AGI Hunt · agihunt.info