AGI Hunt· MaxDev0·· 3 小时前精选AI 评分67
125B Qwen3.8-Flash-Next 通过 NVMe 卸载跑进 16GB 显存的消费级机器
AI 导读
Reddit 用户 MaxDev0 参考 sybil-solutions 的 GLM-5.3 低内存实现,把 NVMe SSD 直接卸载方案移植到 125B 的 Qwen3.8-Flash-Next,使其在 16GB 显存的消费级机器上运行,无需将 24k 专家全部驻留系统内存(传统方案需 48–64GB RAM)。
推荐理由
125B 模型在 16GB 显存笔记本上的实测数据,可作为本地部署大 MoE 时显存与吞吐的参考。
来源:AGI Hunt · agihunt.info