AGI Hunt· ChengleiSi·· 3 小时前AI 评分28
研究者提出三元线性注意力 Triadic Linear Attention:用三维状态扩展线性 RNN
研究者提出三元线性注意力:用三维状态扩展线性 RNN
AI 导读
研究者提出 Triadic Linear Attention(三元线性注意力),用三个向量的外积维持一个三维张量状态,以此扩展线性 RNN 的状态空间设计。该思路源于「线性注意力本质上是最朴素的 RNN,却因维持一个矩阵状态而大幅超越传统 RNN」这一观察,作者以长推文形式展开技术细节。这是对线性注意力状态空间设计方向的新探索,讨论其能否带来进一步的容量或表达能力提升。
来源:AGI Hunt · agihunt.info