跳到正文
原文
AGI Hunt· HanchungLee·· 2 小时前AI 评分49

Hanchung Lee 谈 Agent 评测双基准法:能力集低通过率爬坡,回归集守住底线

Agent 评测双基准法:能力集低通过率爬坡,回归集守住底线

AI 导读

Hanchung Lee 提出 Agent 评测应维护两套 benchmark:能力集保持极低 pass@1,用于捕捉并爬升「明天才能做到」的前沿行为;回归集 pass@1 接近 100%,用于确保系统不退步。Vtrivedy10 补充称,eval 应推动 agent 能力边界而非只测绘现状,RL 任务通常瞄准 0.2-0.6 的通过率以保留爬升信号,未来行为往往缺少对应的 traces。

来源:AGI Hunt · agihunt.info