arXiv cs.AI· Itai Zehavi, Fanny Jourdan, Ulrich Aivodji·· 1 天前AI 评分35
SCALPEL：基于对比稀疏自编码器的选择性表征层机器遗忘
Neuralyzing the Trace: Selective Representation-Level Unlearning with Contrastive Sparse Autoencoders
AI 导读
SCALPEL 是一种对比式稀疏自编码器，用于表征层的选择性机器遗忘，可缓解重建式提取偏向背景结构、忽略低能量目标成分的能量偏置。在 TOFU 上对 Qwen、Llama、Gemma 的实验中，它优于 NMF 和标准 SAE 干预，与 Gradient Difference、RMU 相当。理论分析显示，对比训练能促进目标选择性特征，其选择分数可控制背景知识扰动的期望。
来源：arXiv cs.AI · arxiv.org