arXiv cs.AI· Zixuan Weng, Haoqi He, Weifei Jin, Yue Huang, Yang Bai·· 4 小时前AI 评分46
Attention 识别、MLP 拒绝写:追踪 LLM 的 Attention-to-MLP 安全通路
Attention Sees, MLP Refuses: Tracing the Attention-to-MLP Safety Pathway in LLMs
AI 导读
研究者在 18 对 Qwen、Llama、Gemma Base-Instruct 模型上追踪 LLM 的 Attention-to-MLP 安全通路,发现有害性更易从 attention 更新解码,拒绝写入则更多由 MLP 承担。
来源:arXiv cs.AI · arxiv.org