TraceTrial-Bench 评测智能体 Harness 可靠性

2026 年 10 月 26 日，arXiv cs.AI 刊出论文《Trial by Trace》，提出 TraceTrial-Bench——一个用于评估 AI 智能体 Harness 可靠性与故障归因能力的基准。该基准覆盖七类 Harness 组件，并构建了 95 个专家级任务。研究者对 4 个 Harness、9 个模型共执行 3,420 次运行，结果显示宏观平均 Harness 得分为 59.8%–72.0%；同时有 31.1% 的运行至少未通过一项 Harness 标准，却仍完成了任务，说明任务完成与 Harness 可靠性之间存在脱节。目前报道仅涉及基准的提出与首轮评测结果，尚无后续榜单更新或第三方复现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。