跳到正文
原文
AGI Hunt· bibryam·· 3 小时前AI 评分46

HANDBOOK.md 基准:65 个任务测 agent 遵守长政策文档,最佳仅 36.2%

AI 导读

HANDBOOK.md 基准用 65 个 agent 任务测试智能体遵守 20–124 页长政策文档的能力,30 个配置中最佳严格评分通过率仅 36.2%。任务覆盖金融、医疗计费、保险、物流、HR 五个领域、10 家虚构公司,评分依赖 824 条程序化判据。允许一次失败后最高分几乎翻倍,Opus 4.8 (max) 以严格 pass@1 约 23%、pass@(N-1) 近 50% 居首。

来源:AGI Hunt · agihunt.info