AGI Hunt· jiqizhixin·· 4 小时前AI 评分41
哈工大深圳等提出 STILL:内容感知的层内混合注意力,实现 LLM 原地线性化
哈工大深圳等提出 STILL:内容感知层内混合注意力,原地线性化 LLM
AI 导读
哈尔滨工业大学(深圳)与鹏城实验室、昆士兰大学、雷丁大学提出 STILL(ArXiv 2602.02180),已被 NeurIPS 2026 接收。该架构号称首个真正内容感知的层内混合注意力,通过选择 token 实现 LLM 原地线性化,避免按位置路由 token 的伪混合,以及特征映射破坏预训练模型归一化结构、导致长上下文能力崩溃的问题。
来源:AGI Hunt · agihunt.info