跳到正文
原文
AGI Hunt· cephaloform·· 3 小时前AI 评分23

SFT+全 logit KL+隐状态 MSE 还算不算「蒸馏」?AI 圈训练方法命名边界引争议

SFT+全 logit KL+隐状态 MSE,还算不算「蒸馏」引争议

AI 导读

作者 cephaloform 指出,「SFT on traces」与「SFT on traces + 全 logit KL + 隐状态 MSE」差异太大,把两者都称作「蒸馏」并不合适。这一质疑针对当前 AI 圈蒸馏定义被泛化使用的现象,触及训练方法命名边界的技术争论。

来源:AGI Hunt · agihunt.info