AGI Hunt· SNU-VLSI·· 4 小时前AI 评分45
首尔国立大学 JSSA 稀疏注意力:128K 上下文解码吞吐最高提升 6.43 倍
JSSA 稀疏注意力:128K 上下文解码吞吐最高提升 6.43 倍
AI 导读
首尔国立大学团队提出 JSSA 稀疏注意力,用共享低维 query–key 子空间做 token 级选择,并开发免 gather 的 indexed-attention kernel,缓解长上下文 LLM 解码的 KV-cache 流量瓶颈。
来源:AGI Hunt · agihunt.info