分享用真实失败用例重放做 Agent 回归评测

2026 年 10 月 14 日，AGI Hunt 报道了 strickvl 分享的 Agent 工程 eval 实践。strickvl 主张，每次修改 prompt、工具或模型之后，都应重放历史积累的真实失败案例，用来验证这次改动是否引入了回归。他把真实失败记录当作可重放的回归测试资产，而不是一次性排查材料，并借助 Claude Code 结合 Modal 的 serverless 能力，为 Decode 搭建了 evals 层。也就是说，真实失败用例在改完之后仍被反复执行，作为回归评测的固定输入。报道未披露该做法的具体实现细节、覆盖的用例数量、运行频率或评测结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。