跳到正文
原文
AGI Hunt· SNU-VLSI·· 4 小时前AI 评分45

首尔国立大学 JSSA 稀疏注意力:128K 上下文解码吞吐最高提升 6.43 倍

JSSA 稀疏注意力:128K 上下文解码吞吐最高提升 6.43 倍

AI 导读

首尔国立大学团队提出 JSSA 稀疏注意力,用共享低维 query–key 子空间做 token 级选择,并开发免 gather 的 indexed-attention kernel,缓解长上下文 LLM 解码的 KV-cache 流量瓶颈。

来源:AGI Hunt · agihunt.info