跳到正文
原文
AGI Hunt· Innowise_·· 4 小时前AI 评分44

开发者:只叮嘱 AI agent「别碰生产环境」不算安全措施

只叮嘱 agent「别碰生产环境」不算安全措施

AI 导读

开发者指出,对 AI agent 的安全控制不能靠提示词,如果 agent 能删除生产数据,正确做法是让它根本不拥有该权限。付款、删数据、给客户发邮件等不可逆操作应靠人工确认;更隐蔽的是合法操作的下游连锁效应,如 agent 更新 CRM 成交日期改变了销售预测。该团队因此开始评估 agent 能触发的下游影响,而不只是它直接调用的工具。

来源:AGI Hunt · agihunt.info