跳到正文
原文
arXiv cs.AI· Zixuan Weng, Haoqi He, Weifei Jin, Yue Huang, Yang Bai·· 4 小时前AI 评分46

Attention 识别、MLP 拒绝写:追踪 LLM 的 Attention-to-MLP 安全通路

Attention Sees, MLP Refuses: Tracing the Attention-to-MLP Safety Pathway in LLMs

AI 导读

研究者在 18 对 Qwen、Llama、Gemma Base-Instruct 模型上追踪 LLM 的 Attention-to-MLP 安全通路,发现有害性更易从 attention 更新解码,拒绝写入则更多由 MLP 承担。

来源:arXiv cs.AI · arxiv.org