新论文：从 SGD 与线性注意力对偶性导出全新学习范式

一篇与 Google PI 合作的新论文提出，用梯度下降训练的线性层，其计算完全等价于「初始权重 + 对自身训练历史的线性注意力」。作者由此推导出新学习范式：不再每一步都用梯度下降更新线性层，而是维护不断增长的梯度信号 KV cache 并对其做注意力，神经网络在训练过程中随之「生长」。作者称该对偶关系此前虽被发现和 revisit，但仍鲜为人知。