arXiv cs.AI· Michael Yew Chuan Lee, Manya Sriram, N. Benjamin Erichson·· 3 小时前AI 评分59
研究:AI for Science 智能体是否保持了基础模型的安全行为
Do AI-for-Science Agents Preserve Model Safety?
AI 导读
论文用 50 条有害化学请求评估五种 AI for Science 智能体框架,覆盖四个近期 GPT 变体,发现引入框架后模型即使在直接提示下也可能更多顺从有害请求。作者还发现,对基础 LLM 基本无效的自适应攻击在加上框架后突然高度成功。作者据此认为基础模型的安全行为在引入框架后并不持久,社区需要用面向领域的安全基准来评估和对齐这类智能体。
来源:arXiv cs.AI · arxiv.org