AGI Hunt· SJTU·· 3 小时前AI 评分44
上海交大发布 SWE-at-Scale:反转真实修复,批量合成编码 agent 评测任务
上交发布 SWE-at-Scale:反转真实修复批量合成编码 agent 评测任务
AI 导读
上海交大联合清华、华东师大发布 SWE-at-Scale,通过把真实修复 commit「反转」为 bug 注入,批量合成编码 agent 评测任务。该框架把历史修复 commit 中蕴含的 bug 成因机理迁移到新代码上下文,反复采样多样 bug 类型,以应对真实 issue 任务稀缺、人工标注昂贵的问题,为 SWE-bench 类基准的数据荒提供新的合成思路。
来源:AGI Hunt · agihunt.info