跳到正文
原文
AGI Hunt· fuzhongkai·· 3 小时前AI 评分56

单卡 RTX 5090 跑 Qwen 27B:六大推理引擎基准对比,DFlash2 投机解码提速明显

单卡 RTX 5090 跑 Qwen 27B:六大推理引擎基准对比,DFlash2 提速显著

AI 导读

TensorSharp 作者在单张 RTX 5090 32GB 上,对 llama.cpp、vLLM、SGLang、NInfer、velox-inferer 和 TensorSharp 六个推理引擎跑 Qwen 27B 做系统基准,统一 40960 token 上下文、贪心解码并关闭思考模式。

来源:AGI Hunt · agihunt.info