arXiv cs.CL· Hee Seung Hwang, Sanghyuk Chun, Xindi Wu, Olga Russakovsky, Zhiwei Deng·· 2 小时前AI 评分38
MERLIN：面向多状态线性注意力的广义二阶路由
Multi-State Linear Attention with Generalized Second-Order Routing
AI 导读
MERLIN 追踪每个上下文段 key 的一阶与二阶矩，使 query 能同时恢复对齐的均值与方差，实现更内容感知的多状态线性注意力聚合。在 Gated DeltaNet-1.3B 与 Mamba-2-780M 的多状态变体上，RULER needle-in-a-haystack 与长上下文 QA 分别提升 8.3% 和 7.0%。
来源：arXiv cs.CL · arxiv.org