跳到正文
原文
AGI Hunt· MageLD·· 4 小时前AI 评分25

三卡加 130GB 内存跑 Qwen3.8B 仅 18 T/s,网友求本地提速方案

三卡+130GB 内存跑 Qwen3.8B 仅 18 T/s,网友求本地提速方案

AI 导读

一位网友在 reddit 求助 Qwen3.8B(FN 量化)本地部署提速,他用 2 张解锁版 RTX 3090 24GB 加 1 张解锁版 4070 Ti Super 16GB、130GB DDR4 内存三卡混跑仅 18 T/s。仅 4070 Ti Super + NVMe 约 8–9 T/s,纯 NVMe 约 2 T/s。他希望不买新硬件,求层放置与推理后端优化建议。

来源:AGI Hunt · agihunt.info