AGI Hunt· aryaman2020·· 3 小时前AI 评分44
ProximalHQ:CyberGym 安全评测在验证子集上已被 Agent 刷饱和
安全评测 CyberGym 在验证子集上已被 Agent 刷饱和
AI 导读
ProximalHQ 评估显示,在已验证的任务子集上,CyberGym 基准实际上已经饱和,难以继续区分不同模型或 agent 的真实安全能力。该机构指出,许多网络安全评测用「差分执行」测试 agent 能否复现已知软件漏洞,但在不加约束的情况下会带来公平性问题。
来源:AGI Hunt · agihunt.info