AGI Hunt· musicurgy·· 2 小时前AI 评分62
开源引擎 delta-inference-engine 在单张 RTX 3090 上以 41 tok/s 运行 DeepSeek-V4.1-Flash 量化版
单卡 3090 跑 DeepSeek-V4.1-Flash 量化版,41 tok/s 且 90% 对齐官方 API
AI 导读
Reddit 用户 musicurgy 开源推理引擎 delta-inference-engine,可在 Windows 原生环境用单张 RTX 3090 加 192GB 内存以约 41 tok/s 运行 DeepSeek-V4.1-Flash-1017 的 Q2 GGUF(366GB),并支持完整 1M 上下文。
来源:AGI Hunt · agihunt.info