Monash 提出混合线性注意力 HLA

2026 年 10 月 7 日，AGI Hunt 报道称，Monash 团队提出混合线性注意力架构 HLA（Hybrid Linear Attention）。该方法在 Gated DeltaNet 基础上引入查询依赖（query-dependent）的块级路由门，用以选择性地访问被压缩进循环状态（recurrent state）中的稀疏远距离信息，从而在保持线性注意力效率的同时补回长程依赖能力。报道称，HLA 在 LongBench-V2 基准上最高可带来 5.57 分的提升。就目前可见的报道而言，该工作处于方法公开阶段，未提及代码或模型是否开源，也未给出与其他线性注意力方案的完整横向对比，事件后续进展有待更多信息披露。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。