研究解析 Transformer 残差流：预测如何逐步"定向聚焦"到最终结果

Transformer 残差流研究显示，中间层表示会逐步定向聚焦到自身最终状态：跨六个预训练模型，"自身终点"在较浅层就优于平均替代项，但不少单独终点更接近。随深度增加，竞争集合收缩而成员持续变化，方向对齐与终点排名可改善，到最终状态的欧氏距离几乎不变。作者还用高维模型分离范数、对齐与终点几何的作用，并证明直线收敛路径不会引入新竞争者。