跳到正文
原文
AGI Hunt· AccBalanced·· 6 小时前AI 评分30

COLM 2026 论文 SwiLA:切换多个线性映射兼得表达力与固定状态

COLM 2026 论文 SwiLA:切换多个线性映射兼得表达力与固定状态

AI 导读

入选 COLM 2026 的 SwiLA(Switching Linear Attention)通过在多个线性映射之间动态切换,试图同时获得 Softmax attention 的表达力与线性注意力的固定状态大小。

来源:AGI Hunt · agihunt.info