CyberGym 基准在已验证子集上已饱和

2026 年 10 月 2 日，AGI Hunt 报道了 ProximalHQ 的评估结论：在已验证的任务子集上，CyberGym 安全评测基准实际上已经饱和，难以继续区分不同模型或 agent 的真实安全能力。该机构同时指出，许多网络安全评测采用「差分执行」的方式，即测试 agent 能否复现已知软件漏洞，但这类做法在不加约束的情况下会带来公平性问题。本次评估针对的是已验证子集这一范围，即在该子集内基准的区分度已明显不足；报道未提及后续是否会调整基准或给出替代评测方案。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。