AGI Hunt· HankYeomans·· 3 小时前AI 评分37
混合 GPU+CPU+NVMe 本地跑 DeepSeek,吞吐最高提升 21 倍
混合 GPU+CPU+NVMe 本地跑 DeepSeek,吞吐最高提升 21 倍
AI 导读
作者在 GPU+CPU+NVMe 混合架构上本地部署 DeepSeek v4.1(MXFP4 量化),持续调优后吞吐最高提升 21 倍。单路解码从 14 升至 60.75 tok/s,4 路并发合计从 50 升至 123.99 tok/s。32K 上下文 prefill 从 210 升至 4,495 tok/s,TTFT 由 152 秒降至 7.12 秒。
来源:AGI Hunt · agihunt.info