跳到正文
原文
AGI Hunt· Chenxu Wang·· 4 小时前AI 评分34

AgentSafeEvo:攻防共进化强化学习提升 LLM 智能体安全性

AI 导读

AgentSafeEvo 由上海人工智能实验室、复旦、上交、浙大等团队提出,是面向 LLM 智能体安全的对抗共进化强化学习框架。它构建攻击者–防御者博弈:攻击者学习构造暴露防御方工具使用弱点的对抗任务,防御者学习在攻击下安全完成任务,并用任务内防御者奖励方差做可学习性引导的任务加权。

来源:AGI Hunt · agihunt.info