Hugging Face 新论文：跨 tokenizer 在线蒸馏中监督可靠性比覆盖度更关键

Hugging Face 上一项新论文研究异构 tokenizer 间的在线蒸馏（OPD），认为应优先保证监督可靠性而非最大化对齐覆盖。在 3 组异构师生对（数学推理与代码生成）上，将对齐位置的 reverse KL 限制在学生选定的 top-16 共享词包子集，即可达到与全共享词表 OPD 相当的精度；而补上 span log-prob 的 MSE 监督虽实现完全监督覆盖，精度反而下降。