熵感知蒸馏论文：小模型泛化更强、遗忘更少

2026年10月12日，AGI Hunt 报道了一篇题为《Learning What to Imitate: Entropy-Aware Distribution Mixing》的论文。报道称，该论文提出的核心观点是：imitation（模仿教师模型）并非越多越好。为此论文给出了一种“熵感知蒸馏”方法，由学生模型自身的不确定性来决定每个 token 应当模仿教师多少——即按 token 分配模仿程度，而非一律照搬教师输出。报道称，这种方法让小模型的泛化能力更强、遗忘更少。目前该事件仅有这一篇报道，尚无后续进展或第三方复现、评价信息。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。