arXiv cs.CL· Irene Tallini, Lorenzo Basile, Valentino Maiorca, Francesco Locatello, Alberto Cazzaniga·· 2 天前AI 评分34
LocUS：面向定向激活引导的头选择与子空间投影
LocUS: Head Selection and Subspace Projection for Targeted Activation Steering
AI 导读
LocUS（Localized Unembedding Steering）通过在 unembedding 矩阵中定位属性专属线性子空间，把激活引导限制到该子空间并仅作用于稀疏的少量注意力头，实现免训练的推理时控制。在三个模型族的毒性缓解、情感转向和谄媚抑制评测中，LocUS 匹配或超越 SOTA 基线，仅干预不到 6% 的参数，并更好地保留通用能力。
来源：arXiv cs.CL · arxiv.org