AGI Hunt· cephaloform·· 3 小时前AI 评分23
SFT+全 logit KL+隐状态 MSE 还算不算「蒸馏」?AI 圈训练方法命名边界引争议
SFT+全 logit KL+隐状态 MSE,还算不算「蒸馏」引争议
AI 导读
作者 cephaloform 指出,「SFT on traces」与「SFT on traces + 全 logit KL + 隐状态 MSE」差异太大,把两者都称作「蒸馏」并不合适。这一质疑针对当前 AI 圈蒸馏定义被泛化使用的现象,触及训练方法命名边界的技术争论。
来源:AGI Hunt · agihunt.info