稀疏 Crosscoder 揭示在线蒸馏只重加权共享特征

2026年9月30日，AGI Hunt 报道了香港大学的一项研究：研究者使用稀疏 crosscoders 与 swap readout 方法，检验在线蒸馏（OPD）过程中知识究竟以何种形式迁移。结果显示，在线蒸馏既不创建新的特征，也不传递教师模型自身特有的特征；学生模型 98% 以上高频特征的激活率变化不超过 20%。据此，该研究认为在线蒸馏的迁移机制主要是对师生共享特征进行重加权，而非生成新特征或复制教师独有特征。这一发现从特征层面描述了在线蒸馏的能力边界与作用方式。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。