跳到正文
原文
arXiv cs.CL· Vincent Siu, Glenn Grant-Richards, Vlad Pavlovich, Yizhou Sun, Dawn Song, Chenguang Wang·· 4 小时前AI 评分43

Transformer 拒答机制中的组件与维度稀疏性

Component and Dimension Sparsity in Transformer Refusal Mechanisms

AI 导读

将拒答激活引导分解为组件级干预后,四个开源权重模型中的拒答方向集中在占上游组件 28–48% 的稀疏机制上,仍保留 88–101% 的引导效果。这些机制内约 50% 的残差流维度即可保留组件机制基线的 85–98%。结果表明拒答并非弥散编码于 Transformer,而是由结构化、可识别的机制组装而成,代码与原始实验结果已公开。

来源:arXiv cs.CL · arxiv.org