Meta 研究：知识蒸馏比标准微调减少超 50% 训练数据记忆化

曾在 Meta 任职的研究者 Jaydeep Borkar 发现，知识蒸馏相比标准微调可将 LLM 对训练数据的记忆化降低超 50%，同时提升模型性能。该工作将于 10 月 6 日在旧金山 COLM 2025 展示（Grand Ballroom 海报 #108）。蒸馏可作为一种降低训练数据泄露风险的手段，对隐私和版权敏感场景有直接意义。