提出 Agent 评测双基准法：能力集爬坡、回归集守底

2026年10月17日，Hanchung Lee 就 Agent 评测提出双基准法：应维护两套 benchmark。其一是能力集，保持极低的 pass@1，用于捕捉并逐级爬升「明天才能做到」的前沿行为；其二是回归集，pass@1 接近 100%，用于确保系统不退步。Vtrivedy10 补充称，eval 的意义应是推动 agent 的能力边界，而非只测绘现状；RL 任务通常瞄准 0.2–0.6 的通过率，以保留爬升信号，而面向未来的行为往往缺少对应的 traces。目前该说法以观点讨论形式提出，报道中未披露配套的实践数据或落地结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。