跳到正文
原文
AGI Hunt· Dolly Sah·· 2 小时前AI 评分48

UndoBench 基准:Agent 任务成功率 83.5%,故障恢复仅 46.7%

AI 导读

HF 论文提出 UndoBench 基准,测得 agent 名义任务成功率 83.54%,条件恢复成功率(CRSR)仅 46.72%。该基准覆盖 8 个企业领域的 36 个基础工作流与 36 个故障场景,朴素重试在 53.33% 的配对试验中产生重复外部副作用。恢复能力高度依赖故障阶段,商用 API 模型的扩展实验也复现了这种能力与恢复的分离。

来源:AGI Hunt · agihunt.info