跳到正文
原文
AGI Hunt· morgymcg·· 3 小时前AI 评分36

vLLM 跑 DeepSeek v4.1:解码速度比 SGLang 快 10-20%

vLLM 跑 DeepSeek v4.1:解码速度比 SGLang 快 10-20%

AI 导读

用户 morgymcg 用 YourLocalAILab 提供的 vLLM 镜像在 RTX Pro 6000 上运行 DeepSeek v4.1,解码速度(tokens/s)比 SGLang 快约 10-20%。暂未观察到质量下降,评测仍在进行中。

来源:AGI Hunt · agihunt.info