AGI Hunt· fuzhongkai·· 3 小时前AI 评分56
单卡 RTX 5090 跑 Qwen 27B:六大推理引擎基准对比,DFlash2 投机解码提速明显
单卡 RTX 5090 跑 Qwen 27B:六大推理引擎基准对比,DFlash2 提速显著
AI 导读
TensorSharp 作者在单张 RTX 5090 32GB 上,对 llama.cpp、vLLM、SGLang、NInfer、velox-inferer 和 TensorSharp 六个推理引擎跑 Qwen 27B 做系统基准,统一 40960 token 上下文、贪心解码并关闭思考模式。
来源:AGI Hunt · agihunt.info