跳到正文
原文
AGI Hunt· MaxDev0·· 3 小时前精选AI 评分67

125B Qwen3.8-Flash-Next 通过 NVMe 卸载跑进 16GB 显存的消费级机器

AI 导读

Reddit 用户 MaxDev0 参考 sybil-solutions 的 GLM-5.3 低内存实现,把 NVMe SSD 直接卸载方案移植到 125B 的 Qwen3.8-Flash-Next,使其在 16GB 显存的消费级机器上运行,无需将 24k 专家全部驻留系统内存(传统方案需 48–64GB RAM)。

推荐理由

125B 模型在 16GB 显存笔记本上的实测数据,可作为本地部署大 MoE 时显存与吞吐的参考。

来源:AGI Hunt · agihunt.info