AGI Hunt· RulinShao·· 3 小时前AI 评分44
基于 SGLang 的混合注意力 Suffix Cache Reuse：编辑轮命中率 29.9% 提回 58.1%
混合注意力后缀缓存复用：编辑轮命中率 29.9% 提回 58.1%
AI 导读
Rulin Shao 公开基于 SGLang 的混合注意力（全注意力与线性注意力交错）Suffix Cache Reuse 实现细节：不再丢弃未匹配的后缀缓存而是复用，编辑轮命中率再提升 28.2%。
来源：AGI Hunt · agihunt.info