热点事件持续更新
GPT-2蒸馏后IOI电路崩溃的机制研究
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月28日，arXiv cs.CL 发布一项机制可解释性研究，考察蒸馏之后GPT-2内部电路发生了哪些变化。研究以GPT-2和六层学生模型DistilGPT-2为对象，采用线性CKA、logit lens、注意力模式分解与激活修补等方法进行对比分析。结果显示，蒸馏后不同电路的命运出现分化：IOI（间接宾语识别）电路完全崩溃，任务准确率由94.8%降至35.2%；name-mover电路的保留程度为零。报道未提及更多电路的分析结果，也未提及后续验证计划。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
研究显示DistilGPT-2的IOI电路完全崩溃，准确率从94.8%降至35.2%，name-mover保留为零。报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.CL蒸馏后什么幸存？GPT-2 与 DistilGPT-2 的机制可解释性研究
研究用线性 CKA、logit lens、注意力模式分解与激活修补对比 GPT-2 和六层学生模型 DistilGPT-2，发现蒸馏后电路命运分化：IOI 电路完全崩溃，准确率从 94.8% 降至 35.2%，name-mover 保留为零。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。