AGI Hunt· valentina__py·· 4 小时前AI 评分36
《Learning What to Imitate》论文：imitation 不是越多越好，熵感知蒸馏让小模型泛化更强、遗忘更少
imitation 不是越多越好：熵感知蒸馏让小模型泛化更强、遗忘更少
AI 导读
论文《Learning What to Imitate: Entropy-Aware Distribution Mixing》提出熵感知蒸馏，由学生模型自身的不确定性决定每个 token 模仿教师多少。
来源：AGI Hunt · agihunt.info