跳到正文
原文
AGI Hunt· dots-studio·· 3 小时前AI 评分35

小红书 Dots 团队开源 DoSA:稀疏注意力 Indexer 提速至 2.74 倍

小红书 Dots 团队开源 DoSA:稀疏注意力 Indexer 提速至 2.74 倍

AI 导读

小红书 Dots Studio 团队开源无损稀疏注意力加速方法 DoSA,其 Indexer 相比 SGLang 最高提速 2.74 倍、相比 LiteTopK 提速 1.69 倍。

来源:AGI Hunt · agihunt.info