AGI Hunt· wellecks·· 3 小时前AI 评分56
CMU 推出 cua-speedrun 基准:Jev 准确率低 10 倍、速度慢 1.5 倍
CMU 评测 Jev 计算机使用 agent:准确率低 10 倍、慢 1.5 倍
AI 导读
卡内基梅隆大学团队推出 cua-speedrun 评测系统,首次把耗时与成本纳入计算机使用 agent(CUA)基准,并在其上评测 Jev。结果显示 Jev 比 Opus-5.5-xHigh 慢 1.5 倍、准确率低 10 倍、步数多 5 倍,综合水平只相当于 GPT-4 一档,耗时接近 Astra-xHigh。
来源:AGI Hunt · agihunt.info