跳到正文
原文
AGI Hunt· burny_tech·· 4 小时前AI 评分44

Kimi 团队发布 Attention Residuals:用注意力替代残差连接

AI 导读

Kimi 团队发布论文《Attention Residuals》,用 softmax 注意力替代 PreNorm 残差连接,让每层以依赖输入的可学习权重选择性聚合此前各层表示。

来源:AGI Hunt · agihunt.info