AGI Hunt· morgymcg·· 3 小时前AI 评分36
vLLM 跑 DeepSeek v4.1:解码速度比 SGLang 快 10-20%
vLLM 跑 DeepSeek v4.1:解码速度比 SGLang 快 10-20%
AI 导读
用户 morgymcg 用 YourLocalAILab 提供的 vLLM 镜像在 RTX Pro 6000 上运行 DeepSeek v4.1,解码速度(tokens/s)比 SGLang 快约 10-20%。暂未观察到质量下降,评测仍在进行中。
来源:AGI Hunt · agihunt.info