AGI Hunt· OfirPress·· 3 小时前AI 评分49
TestSuiteBench:前沿编码 Agent 生成的测试套件抓不住一半以上逻辑缺陷
TestSuiteBench:前沿编码 Agent 生成的测试套件抓不住一半以上逻辑缺陷
AI 导读
新研究 TestSuiteBench 显示,前沿编码 Agent 虽能从零写出整个软件代码库,却难以按详细规格生成测试套件。Agent 写出的测试大多能在参考实现上通过,但对逻辑变异(mutants)的捕获率不足 55%。研究认为规格驱动的强测试套件生成仍是编码 Agent 的明显短板,对依赖 Agent 自测保证代码质量的工程实践是个警示。
来源:AGI Hunt · agihunt.info