MERLIN：以二阶路由改进多状态线性注意力

2026年10月28日，arXiv cs.CL 的一篇论文提出 MERLIN，一种面向多状态线性注意力的广义二阶路由方法。据该报道，MERLIN 追踪每个上下文段 key 的一阶与二阶矩，使 query 能同时恢复对齐的均值与方差，从而实现更内容感知的多状态线性注意力聚合。报道称，在 Gated DeltaNet-1.3B 与 Mamba-2-780M 的多状态变体上，MERLIN 在 RULER needle-in-a-haystack 与长上下文 QA 两项任务上分别提升 8.3% 和 7.0%。目前进展为止于该论文预印本的发布与上述实验结果披露。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。