目标 token 不对称可能伪装成语言模型的层级深度特化

跨语料的层消融研究把早期层预测损伤更大读作深度特化，但这种效应可能只是目标 token 不对称造成的假象。在 GSM8K 与 Wikitext 之间，正交互在五个模型实例上复现，三个完全分解的模型中只有空白字符呈正交互；移除空白字符后三者合并效应全部反转，匹配完整目标混合后两个反转。仅凭 tokenizer 即可在模型运行前筛查该风险。