arXiv cs.AI· Siyi Gu, Kunhan Gao, Chao Peter Yang, Sukanta Ganguly, Rex Ying, Arman Cohan·· 9 小时前AI 评分40
StepSafe:用上下文感知安全推理学习及时干预
StepSafe: Learning Timely Intervention with Context-Aware Safety Reasoning
AI 导读
StepSafe 通过 ASPO 训练框架实现 step 级安全推理的及时干预,并在五个 agent-safety benchmark 上取得开源护栏 SOTA。其 Youden's J 为 53.0(4B),对比 46.2,方法结合前缀级阶段对齐与自适应反馈自蒸馏。训练数据每步带有违规分类和干预窗口,并通过自演化多智能体红队扩展。
来源:arXiv cs.AI · arxiv.org