arXiv cs.AI· Victor Shea-Jay Huang, Rongqing Li, Zhangyue Yin, Kelong Mao, Yaqi Zhao, Xinyuan Wang, Yao Yin, Lirui Luo, Renrui Zhang, Hongsheng Li·· 3 小时前AI 评分51
SWE-Shift 基准评估编码智能体在任务执行中途变更下的表现
SWE-Shift: Evaluating Coding Agents in Evolving Workspaces
AI 导读
研究团队提出 SWE-Shift 基准，用于评估编码智能体在代码、依赖、运行时状态和需求于执行中途发生变化时的表现，覆盖 12 类变更共 120 个场景，每类在九个干预位置各测一次。
来源：arXiv cs.AI · arxiv.org