arXiv cs.CL· Nabeelah Faumi, Deshan Sumanathilaka·· 2 小时前AI 评分40
蒸馏后什么幸存？GPT-2 与 DistilGPT-2 的机制可解释性研究
What Survives Distillation? A Mechanistic Interpretability Study of GPT-2 and DistilGPT-2
AI 导读
研究用线性 CKA、logit lens、注意力模式分解与激活修补对比 GPT-2 和六层学生模型 DistilGPT-2，发现蒸馏后电路命运分化：IOI 电路完全崩溃，准确率从 94.8% 降至 35.2%，name-mover 保留为零。
来源：arXiv cs.CL · arxiv.org