arXiv cs.AI· Yuanhe Zhang, Ziwei Wang, Jie Ren, Haoran Gao, Zhenhong Zhou, Fanyu Meng, Cong Wu, Li Sun, Sen Su·· 8 小时前AI 评分45
大推理模型为何失控：不受控推理的注意力动态分析
When Reasoning Goes Astray: Attention Dynamics of Uncontrolled Reasoning
AI 导读
研究提出 RADAR（Reasoning-state Analysis via Dynamic Attention Responses），将 LRM 生成划分为四种状态并实时识别推理状态：不受控推理的注意力分布偏离正常生成，异常趋势在重复出现前即可被检测到。基于该分析的 Attention Realignment 修正异常注意力分布后，可持续减少循环生成，同时基本保留良性性能。
来源：arXiv cs.AI · arxiv.org