研究解析Transformer残差流如何逐步定向聚焦

2026年10月1日，AGI Hunt 报道一项关于 Transformer 残差流的研究，解析中间层表示如何逐步“定向聚焦”到自身最终状态。研究跨六个预训练模型发现，“自身终点”在较浅层就已优于平均替代项，但不少单独终点反而更接近。随深度增加，竞争集合不断收缩，而其成员持续变化；方向对齐与终点排名能够改善，可是到最终状态的欧氏距离几乎不变。作者还用高维模型分离范数、对齐与终点几何各自的作用，并证明直线收敛路径不会引入新的竞争者。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。