热点事件持续更新
研究：人机组合查 bug 率达 82.1%
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
一项研究比较了人类评审与 AI 评审 agent 在代码查 bug 上的表现。结果显示，两者抓到的 bug 各不相同，人类评审与 AI 评审 agent 组合起来能发现 82.1% 的 bug，而人类单独约为 50%，最佳 agent 单独为 71.9%。研究同时指出，以人类评审评论作为标准答案的 benchmark 存在缺陷：人类评论中夹杂 nitpick、碍于情面而被接受的建议，以及被漏掉的 bug；agent 若抓到这些 bug，反而会被判为错误。目前公开的进展即为这组对比数据及对评测基准方法的质疑，尚无更多后续信息。
AI 根据报道生成 · 2 小时前更新
最新进展10月16日 05:18
研究显示人机组合查 bug 率达 82.1%，并指出以人类评论为标准答案的 benchmark 存在缺陷。报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- AGI Hunt研究：人机组合查 bug 达 82.1%，人类单独约 50%、最佳 agent 单独 71.9%
人类评审与 AI 评审 agent 抓到的 bug 各不相同，组合起来能发现 82.1%，而人类单独约 50%、最佳 agent 单独为 71.9%。研究指出，以人类评审评论为标准答案的 benchmark 存在缺陷：人类评论含 nitpick、碍于情面被接受的建议和漏掉的 bug，agent 抓到这些反被判错。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。