跳到正文
原文
AGI Hunt· chrisrohlf·· 9 小时前AI 评分47

安全研究者 chrisrohlf:沙箱不够用,Agent 安全最终仍需对齐兜底

安全研究者:沙箱不够用,Agent 安全最终仍需对齐兜底

AI 导读

安全研究者 chrisrohlf 认为沙箱等传统隔离控制不够用:agent 要有用就必须能查询数据库、发 HTTP 请求,剩余风险只能靠对齐兜底。他指出对齐目前呈概率性,是安全圈不适应的属性,而网络攻击能力本身也是模型以更高标准保障安全的工具。他预测 2027 年将因不安全的 agent 部署和对齐方法缺乏统一共识,出现更多 agent 蜂群失控事件。

来源:AGI Hunt · agihunt.info