新论文：GD 训练的线性层等价于线性注意力，并据此导出检索中心学习范式

一项与 Google 合作的新论文提出对偶视角：用梯度下降训练的线性层，其计算恰好等价于「初始权重 + 对自身训练历史的线性注意力」，即每个测试输入会 attend 到训练期间见过的数据。作者据此从 SGD 与线性注意力的对偶性出发，推导出一种以检索为中心的全新学习范式。