跳到正文
原文
AGI Hunt· vllm_project·· 3 小时前AI 评分41

vLLM 实测:4:8 稀疏专家 GEMM 比 NVFP4 密集快 1.35-1.65 倍

AI 导读

vLLM 官方转发的实测显示,paired 4:8 稀疏化(每 8 个权重保留 2 个相邻 pair)在 B200 上让 expert GEMM 比密集 NVFP4 快 1.35-1.65 倍。但理论上的 2 倍峰值收益在实际 serving 中无法保持,Kimi-K2.5 在 vLLM 服务中实测加速为 1.18 倍。这为 MoE 模型的稀疏推理收益提供了贴近真实的基准参考。

来源:AGI Hunt · agihunt.info