跳到正文
原文
AGI Hunt· hkuhk·· 5 小时前AI 评分42

港大用稀疏 Crosscoder 揭示:在线蒸馏不迁移新特征,只重加权共享特征

稀疏 Crosscoder 揭示:在线蒸馏不迁移新特征,只重加权共享特征

AI 导读

港大研究用稀疏 crosscoders 与 swap readout 检验在线蒸馏(OPD),发现 OPD 既不创建新特征,也不传递教师自有特征,学生 98% 以上高频特征的激活率变化不超过 20%。

来源:AGI Hunt · agihunt.info