arXiv cs.CL· Nusrat Jahan Lia, Shubhashis Roy Dipta·· 11 小时前精选AI 评分65
论文提出 BACKDROP 测试框架,智能体叠加四类风险后平均通过率从 69.5% 降至 31.3%
The Backdrop Exposes What the World Around an Agent Costs It
AI 导读
论文提出 BACKDROP 测试框架,在保持任务指令和正确终态不变的前提下,向智能体的执行环境逐个或同时植入权限、注入、边界、故障四类日常风险,考察其在干净环境中展现的能力有多少能保留下来。
推荐理由
论文用 3,678 个变体和 16 个模型复测四类日常风险,说明干净环境里的成绩只是真实场景表现的上限。
来源:arXiv cs.CL · arxiv.org