AgentSWE基准：25任务实测编码Agent无一达标

2026年10月13日，AGI Hunt 报道称，BAAI（北京智源研究院）、中科院自动化所与中国人民大学团队发布 AgentSWE 基准，用于测试编码 Agent 能否交付符合需求的 Agent，论文与代码已开源。该基准包含 25 个任务，任务以“委托”而非“考试”的形式呈现：构建者只能对少量样例进行迭代，验收则在提交被冻结之后，用覆盖完整需求的 held-out 用例进行判定，判定标准由需求衍生，按硬性 pass/fail 处理。报道称，实测中无一编码 Agent 达标。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。