AGI Hunt· xhluca·· 4 天前AI 评分40
ServiceNow 开源 AgentHorizon 基准,检验 LLM 裁判能否判准长程 GUI agent
ServiceNow 开源 AgentHorizon 基准考 LLM 裁判
AI 导读
ServiceNow 团队发布并开源 AgentHorizon 评测套件(arXiv:2610.11050),用于检验 LLM 裁判能否准确判断 GUI agent 是否真正完成 100-300 步的长程计算机使用任务。基准包含 1373 个百步级任务,并配套 166 小时真人录屏的 1373 条长程 GUI 轨迹,为长程 agent 完成度评估提供新工具。
来源:AGI Hunt · agihunt.info