AGI Hunt· OfirPress·· 2 小时前AI 评分35
Ofir Press 回应 bug 基准 SWE-sweep 争议:训练该行为可取,但不许刷测试集
Ofir Press 回应 bug 基准争议:训练该行为可取,但不许刷测试集
AI 导读
Ofir Press(SWE-bench 团队)回应 Lucas 对新 bug 发现基准 SWE-sweep 的质疑,称团队已在论文中讨论相关潜在陷阱,实验显示模型在一般场景下找 bug 的能力与在该基准上的表现存在相关性。他认为针对这类行为训练是好事,正如 SWE-bench 当年鼓励模型提升该能力,只要不直接在测试集上训练即可,并希望社区照此让模型变得更强。
来源:AGI Hunt · agihunt.info