ServiceNow开源AgentHorizon评测基准
先了解这件事
2026年10月10日，ServiceNow 团队发布并开源 AgentHorizon 评测套件（arXiv:2610.11050），把评估重点放在 LLM 裁判能否准确判断 GUI agent 是否真正完成长程计算机使用任务。早先报道称，该基准面向 100–300 步的任务，包含 1373 个百步级任务，并配套 1373 条来自 166 小时真人录屏的长程 GUI 轨迹，意在为长程 agent 的完成度评估提供新工具。2026年10月14日，后续报道称该基准由 ServiceNow Research 与麦吉尔大学等合作发布，用 1373 个跨三操作系统的 computer-use 任务系统评测 LLM 裁判判断长程 agent 轨迹成败的能力，并称 AI 评委审长程任务仍会漏掉约 20% 的细微错误。早先报道未提及麦吉尔大学等合作方，也未给出裁判漏判比例。此后同日的多篇报道与上述内容一致，仍围绕同一发布，未提供新的事实或数据。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- AGI HuntServiceNow 与麦吉尔发布 AgentHorizon：1373 项任务考 AI 裁判
ServiceNow Research 与麦吉尔大学等发布 AgentHorizon 基准，用 1373 个跨三操作系统的 computer-use 任务评测 LLM 裁判判断长程 agent 轨迹成败的能力。
- AGI HuntServiceNow 等发布 AgentHorizon 基准，AI 评委审长程任务仍漏掉 20% 细微错误
ServiceNow Research 与麦吉尔大学等发布 AgentHorizon 基准，系统评测 LLM 作为裁判判断 computer-use agent 长程任务成败的可靠性。
- AGI HuntAgentHorizon 基准发布：AI 评委审长程任务漏掉两成细微错误
ServiceNow Research 联合麦吉尔大学等机构发布 AgentHorizon 基准（arXiv:2610.11050），以 1373 项任务评测 LLM 充当裁判的能力。结果显示，AI 评委在评估 computer-use agent 长程任务时仍会漏掉约 20% 的细微错误，暴露出大模型作为自动化评审者的可靠性局限。
- AGI HuntServiceNow 开源 AgentHorizon 基准，检验 LLM 裁判能否判准长程 GUI agent
ServiceNow 团队发布并开源 AgentHorizon 评测套件（arXiv:2610.11050），用于检验 LLM 裁判能否准确判断 GUI agent 是否真正完成 100-300 步的长程计算机使用任务。基准包含 1373 个百步级任务，并配套 166 小时真人录屏的 1373 条长程 GUI 轨迹，为长程 agent 完成度评估提供新工具。
本事件热度走势
当前热度 9·可比范围峰值 10（10月14日 19:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。