arXiv cs.AI· Zhiyong Cao, Hengjie Zhu, Yongxin Wang, Xuchen Li, Jintao Li, Shuxia Liu, Dunqiang Liu, Bo Wang, Kairan Zhang, Cong Lin, JiangDi Yu, Siyuan Liu, Sijia Yao, Yi-Liang Wei, Lingxu Ma, Aijia Wang, Anxin Chen, Zixian Wei, Xiang Ruan, Ruizhi Xu, Ruqian Shi, Baihua Xiao, Sicheng Zhou·· 3 小时前AI 评分48
Trial by Trace：TraceTrial-Bench 评测 AI 智能体 Harness 可靠性与故障归因
Trial by Trace: Benchmarking AI Agent Harnesses for Reliability and Failure Attribution
AI 导读
TraceTrial-Bench 提出评估 AI 智能体 Harness 可靠性与故障归因的基准，覆盖七类 Harness 组件并构建 95 个专家级任务。在 4 个 Harness、9 个模型共 3,420 次运行中，宏观平均 Harness 得分为 59.8%-72.0%，31.1% 的运行至少失败一项 Harness 标准却仍完成任务。
来源：arXiv cs.AI · arxiv.org