AGI Hunt· Innowise_·· 4 小时前AI 评分44
开发者:只叮嘱 AI agent「别碰生产环境」不算安全措施
只叮嘱 agent「别碰生产环境」不算安全措施
AI 导读
开发者指出,对 AI agent 的安全控制不能靠提示词,如果 agent 能删除生产数据,正确做法是让它根本不拥有该权限。付款、删数据、给客户发邮件等不可逆操作应靠人工确认;更隐蔽的是合法操作的下游连锁效应,如 agent 更新 CRM 成交日期改变了销售预测。该团队因此开始评估 agent 能触发的下游影响,而不只是它直接调用的工具。
来源:AGI Hunt · agihunt.info