多教师在线蒸馏的梯度剖析：Adam 与 BF16 如何抹平教师信号差异（Qwen3-1.7B 实验）

多教师在线蒸馏梯度剖析显示，Adam 一阶矩抹平教师间参数更新差异，Qwen3-1.7B 实验中教师间余弦相似度 0.83、平均规则间 0.96。BF16 舍入掩盖微小变化：约 97% 的 FP32 主权重发生变化，BF16 权重仅 7–11% top-64 交集。