ETH Zurich 团队拆解自蒸馏：拒绝式教师让推理崩溃，对比式蒸馏更稳

ETH Zurich 的 Andreas Krause 团队研究了自蒸馏中教师信号方向的影响，指出反转损失式（repulsive）蒸馏虽能抵消教师行为偏移，却会让回答不断变长直至训练崩溃。带特权上下文的自蒸馏则会压制探索、让回答变短甚至损害推理。团队提出的对比式自蒸馏同时使用正确解教师的吸引信号与错误解教师的排斥信号，使行为偏移相互抵消而纠错信号保留，兼顾推理提升与训练稳定。