AGI Hunt· cephaloform·· 2 小时前精选AI 评分67
RTX 3060 12GB 跑 74B MoE：2-bit 量化与专家卸载实测
RTX 3060 12GB 跑 74B MoE:2-bit 量化+专家卸载实测
AI 导读
开发者 DogukanUrker 在单张 RTX 3060（12GB 显存加 16GB 内存）上跑通 NVIDIA Nemotron-3.5-Bolt-74B-A9B，支持完整 262K 上下文，解码约 24 tok/s、预填充约 500 tok/s。
推荐理由
文中列出单张 RTX 3060 运行 74B MoE 的完整启动参数与显存占用，可为本地部署提供参考。
来源：AGI Hunt · agihunt.info