Meta 研究者：知识蒸馏减少超 50% 训练数据记忆化

2026 年 10 月 2 日，AGI Hunt 报道了一项关于知识蒸馏与训练数据记忆化的研究：曾在 Meta 任职的研究者 Jaydeep Borkar 发现，相比标准微调，知识蒸馏可将大语言模型对训练数据的记忆化降低超过 50%，同时模型性能还有所提升。报道称，该工作将于 10 月 6 日在美国旧金山举行的 COLM 2025 上展示，位置为 Grand Ballroom 海报 #108。报道认为，蒸馏可以作为一种降低训练数据泄露风险的手段，对隐私和版权敏感场景有直接意义。需要指出的是，事件此前标题把该成果表述为“Meta 研究”，而本报道的说法是研究者“曾在 Meta 任职”。目前该事件仅有这一篇报道，尚无更多细节披露或独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。