变量型 Agent 发布应看重复评测分布

2026 年 10 月 26 日，AGI Hunt 报道，开发者 MiserableFlatworm337 提出，变量型 Agent 的发布信号应看重复评测的分布，而不应只报告最佳运行。其理由是：同一案例重复运行并记录尝试次数、失败与超时后，结果才能被如实描述；例如一个案例四次通过、一次失败，不能简单称其为“通过”。他同时说明，自己正在开发的 skillEd 支持重复评测运行，用途是区分 flaky（不稳定）案例与真实改进，并强调这并非提出新的 benchmark。目前该主张仍处于观点与工具开发阶段，报道未提及更广泛的采用或第三方复现情况。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。