Failure Map 发布 20168 个 Python 修复任务

Failure Map 发布开放版 Python 调试任务档案库，用于评测编码模型的修复能力。档案库共含 20,168 个任务、254 个类别，每项任务配有标准库实现、明确契约、失败修复尝试和可执行边界检查，并使用统一 prompt 模板，要求模型修复 solve 函数且保持签名不变。据最新报道，目前只公布了程序基线（以通过检查数/3 计），尚无本地模型实测结果。该事件此前已以“Failure Map 发布 20168 个 Python 修复任务”为题报道，最新报道补充了任务构成与评测方式等细节。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。