跳到正文
原文
AGI Hunt· zainhas·· 3 小时前AI 评分56

让模型从 5 个 agent run 中挑 1 个提交,Fable 5.1 在 Terminal-Bench 4.0 从 58% 升到 70%

模型不会判卷但会挑答案,agent 评测复用提分 58%→70%

AI 导读

TuXinming 提出的思路是隐藏 run 的执行结果,把 5 个 run 交给另一个 agent 只问一句「这个任务完成了吗」,挑出最可能成功的一个提交评分,zainhas 转评称其 insightful,并称模型当裁判很差但当选择者很好,Fable 5.1 在 Terminal-Bench 4.0 上由此从 58% 拉到 70%,相当于免费提取 pass@5 的上限。

来源:AGI Hunt · agihunt.info