arXiv cs.AI· Pinaki Mohanty, Haoran Tang, Maggie Makar, Rajiv Khanna·· 8 小时前AI 评分33
Mamushi：面向 LLM 表示空间的非参数分布性遗忘框架
Learning What to Forget: Distributional Unlearning for LLM Representation Spaces
AI 导读
Mamushi 是面向 LLM 表示空间的非参数分布性遗忘框架，用概率分类器的 Bayes 最优 logit 对遗忘样本排序，该 logit 等于 forget-to-retain 对数密度比。研究证明对群体对数密度比做阈值化可得固定预算下的最优选择规则，并给出非渐近迁移保证。在毒性语言与主题域去除数据集上，其去除—保留权衡优于基线，并减少达到固定遗忘目标所需的遗忘样本数。
来源：arXiv cs.AI · arxiv.org