跳到正文
原文
AGI Hunt· najoungkim·· 3 小时前AI 评分50

RExBench:最强编程智能体自主完成研究扩展成功率仅33%

AI 导读

RExBench 用 12 篇真实论文的扩展任务评测编程智能体,基于 aider 和 OpenHands 实现的 12 个 LLM 智能体均无法自主完成大多数任务,最好成功率约 33%。即使加入人类手写提示,最好成绩仍低于 44%。该 ACL 论文 benchmark 配有领域专家说明、抗数据污染设计与自动评测基础设施,结论是当前智能体离无需大量人类指导即可处理真实研究扩展任务还很远。

来源:AGI Hunt · agihunt.info