跳到正文
原文
AGI Hunt· khademinori·· 1 天前AI 评分25

知识蒸馏为何比普通监督学习更有效:关键在于传递完整概率分布

蒸馏为何比普通监督学习更有效:关键在传递完整概率分布

AI 导读

知识蒸馏比普通监督学习更有效,关键在教师模型传递的不是单标签 one-hot,而是完整的概率分布向量 p()。这份分布把类别之间的相似度等「暗知识」一并传给学生,监督信号因此更丰富。

来源:AGI Hunt · agihunt.info