热点事件持续更新
研究发现token embedding对value向量贡献小
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月26日，AGI Hunt 报道了 Muyu He 的一项研究。该研究提出，标准 Transformer 存在一个根本矛盾：value 矩阵的输入方向在「寻找」token embedding，但 token embedding 的实际贡献却很小。研究方法是在 780M 参数模型上，对每个注意力头的 Wv、Wq、Wk 分别做奇异值分解，以提取特权输入方向。结果显示，token embedding 在所有层的 Wv 上投影异常大，但其范数并不突出；相比之下，Q、K 没有表现出明显偏好。报道将这一现象描述为「远超表象」的矛盾。
AI 根据报道生成 · 3 小时前更新
最新进展10月26日 15:44
Muyu He 用SVD发现token embedding在Wv上投影异常大但实际贡献小报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- AGI Hunt研究：标准 Transformer 中 token embedding 对 value 向量的贡献远超表象
Muyu He 提出标准 Transformer 存在根本矛盾：value 矩阵的输入方向在「寻找」token embedding，但后者的实际贡献却很小。在 780M 模型上对每个头 Wv/Wq/Wk 做奇异值分解提取特权输入方向后，他发现 token embedding 在所有层的 Wv 上投影异常大、范数并不突出，Q、K 则无明显偏好。
本事件热度走势
当前热度 9·可比范围峰值 10（10月26日 16:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。