AGI Hunt· rseroter·· 3 小时前AI 评分50
研究:人机组合查 bug 达 82.1%,人类单独约 50%、最佳 agent 单独 71.9%
研究:人机组合查 bug 达 82.1%,各自单独只约一半和 71.9%
AI 导读
人类评审与 AI 评审 agent 抓到的 bug 各不相同,组合起来能发现 82.1%,而人类单独约 50%、最佳 agent 单独为 71.9%。研究指出,以人类评审评论为标准答案的 benchmark 存在缺陷:人类评论含 nitpick、碍于情面被接受的建议和漏掉的 bug,agent 抓到这些反被判错。
来源:AGI Hunt · agihunt.info