保留失败的 agent 任务,每次新模型发布时重跑以捕捉能力质变
victor_explore 建议保留所有失败的 agent 运行记录,把它们当作针对下一代模型的评测集,每次新模型发布就整体重跑一遍。他引用 Anthropic Labs 的案例:Mike Krieger 透露团队曾搁置一个失败的 computer use agent 项目,每次新模型发布都重跑,直到 Claude 3.7 出现后成功率突然过半,项目起死回生。
推荐理由:把跑挂的 agent 任务留存成评测集,提供了一个跨模型版本观察能力跃迁的可复用做法。