研究：标准 Transformer 中 token embedding 对 value 向量的贡献远超表象

Muyu He 提出标准 Transformer 存在根本矛盾：value 矩阵的输入方向在「寻找」token embedding，但后者的实际贡献却很小。在 780M 模型上对每个头 Wv/Wq/Wk 做奇异值分解提取特权输入方向后，他发现 token embedding 在所有层的 Wv 上投影异常大、范数并不突出，Q、K 则无明显偏好。