单卡RTX 5090六推理引擎跑Qwen 27B基准

2026年10月27日，AGI Hunt 报道，TensorSharp 作者在单张 RTX 5090 32GB 显卡上对六个推理引擎做系统基准测试，测试模型为 Qwen 27B。参与对比的引擎包括 llama.cpp、vLLM、SGLang、NInfer、velox-inferer 和 TensorSharp。为便于横向比较，测试统一采用 40960 token 上下文，使用贪心解码，并关闭思考模式。报道提到，DFlash2 投机解码在此次测试中提速明显。目前公开信息仅有这一篇报道，其中未给出各引擎的逐项吞吐、延迟等具体数据，也暂无其他来源的复现结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。