热点事件持续更新
ETH 团队研究自蒸馏教师信号方向
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026 年 10 月，ETH Zurich 的 Andreas Krause 团队发布研究，拆解自蒸馏中教师信号方向的影响。团队发现，反转损失式的“排斥式”蒸馏虽可抵消教师行为偏移，却让模型回答不断变长，最终导致训练崩溃；而带特权上下文的自蒸馏会压制探索、让回答变短，甚至损害推理能力。为此团队提出对比式自蒸馏：同时使用正确解教师的吸引信号与错误解教师的排斥信号，使行为偏移相互抵消，同时保留纠错信号，从而兼顾推理提升与训练稳定。
AI 根据报道生成 · 2 小时前更新
最新进展10月2日 01:58
ETH 团队提出对比式自蒸馏，用正确解吸引、错误解排斥，兼顾推理提升与训练稳定。报道时间线
沿着报道，了解事件的不同侧面。
10月2日
- AGI HuntETH Zurich 团队拆解自蒸馏：拒绝式教师让推理崩溃，对比式蒸馏更稳
ETH Zurich 的 Andreas Krause 团队研究了自蒸馏中教师信号方向的影响，指出反转损失式（repulsive）蒸馏虽能抵消教师行为偏移，却会让回答不断变长直至训练崩溃。带特权上下文的自蒸馏则会压制探索、让回答变短甚至损害推理。团队提出的对比式自蒸馏同时使用正确解教师的吸引信号与错误解教师的排斥信号，使行为偏移相互抵消而纠错信号保留，兼顾推理提升与训练稳定。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。