跳到正文
原文
AGI Hunt· AccBalanced·· 3 小时前AI 评分32

同一套 DeepSeek 内核两种优化路线:vLLM 拆专家、SGLang 降访存

AI 导读

vLLM 与 SGLang 对同一套 DeepSeek 开源内核走出两种优化路线,性能与 DeepInfer 相差均在几个百分点以内。vLLM 判断瓶颈在专家层,把专家分布到更多 GPU 上做负载均衡;SGLang 专注减少内存流量与内核启动次数。

来源:AGI Hunt · agihunt.info