SGD与线性注意力对偶性导出新学习范式
先了解这件事
2026年10月11日，AGI Hunt 报道一篇与 Google PI 合作的新论文，提出用梯度下降训练的线性层，其计算完全等价于「初始权重＋对自身训练历史的线性注意力」。作者由此推导出新学习范式：不再每一步都用梯度下降更新线性层，而是维护不断增长的梯度信号 KV cache 并对其做注意力，神经网络在训练过程中随之「生长」；报道称该对偶关系此前虽被发现并被 revisit，但仍鲜为人知。10月12日，AGI Hunt 再次报道同一论文，合作方表述为「与 Google 合作」，强调每个测试输入会 attend 到训练期间见过的数据，并据此提出「以检索为中心」的学习范式。两篇报道均未披露实验规模、对比结果或代码发布等信息。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- AGI Hunt新论文：GD 训练的线性层等价于线性注意力，并据此导出检索中心学习范式
一项与 Google 合作的新论文提出对偶视角：用梯度下降训练的线性层，其计算恰好等价于「初始权重 + 对自身训练历史的线性注意力」，即每个测试输入会 attend 到训练期间见过的数据。作者据此从 SGD 与线性注意力的对偶性出发，推导出一种以检索为中心的全新学习范式。
- AGI Hunt新论文：从 SGD 与线性注意力对偶性导出全新学习范式
一篇与 Google PI 合作的新论文提出，用梯度下降训练的线性层，其计算完全等价于「初始权重 + 对自身训练历史的线性注意力」。作者由此推导出新学习范式：不再每一步都用梯度下降更新线性层，而是维护不断增长的梯度信号 KV cache 并对其做注意力，神经网络在训练过程中随之「生长」。作者称该对偶关系此前虽被发现和 revisit，但仍鲜为人知。
本事件热度走势
当前热度 10·可比范围峰值 10（10月12日 10:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。