跳到正文
热点事件持续更新

AutomationBench 206 个验证器被指有问题

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

AutomationBench 是由 Zapier 团队打造、用于评测 agent 完成业务流任务的 benchmark,公开任务共 600 个。2026 年 10 月 7 日,AGI Hunt 报道称,Parsewave 对 AutomationBench 进行了独立审计,结论是 600 个公开任务中有 206 个任务的验证器存在严重问题,即约三分之一任务的评判环节被判定不可靠。报道未提及 Zapier 团队或维护方是否作出回应,也未说明受影响任务是否会被修正、替换或下架。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月7日
  1. AGI Hunt精选
    Parsewave 审计 AutomationBench,600 个公开任务中 206 个验证器存在严重问题

    Parsewave 对 Zapier 团队打造的 agent 业务流 benchmark AutomationBench 做独立审计,确认 600 个公开任务中有 206 个验证器存在严重问题。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。