TestSuiteBench：编码Agent测试生成短板

2026年10月12日，AGI Hunt 报道了一项名为 TestSuiteBench 的新研究：前沿编码 Agent 虽然已能从零写出整个软件代码库，却难以按详细规格生成测试套件。研究显示，Agent 写出的测试大多能在参考实现上通过，但对逻辑变异（mutants）的捕获率不足 55%，即抓不住一半以上的逻辑缺陷。研究据此认为，规格驱动的强测试套件生成仍是编码 Agent 的明显短板，对依赖 Agent 自测来保证代码质量的工程实践是一记警示。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。