AGI Hunt· pmttyji·· 3 小时前精选AI 评分66
1.58bit 三值 Nemotron 30B MoE 量化包发布：12GB 显存跑 368K 上下文
1.58bit 三值 Nemotron 30B MoE:12GB 显存跑 368K 上下文
AI 导读
Hugging Face 用户 boro64 发布了 Ternary Nemotron 3.5 Lightning 30B-A3B 的 1.58-bit 三值 GGUF 量化包，30B MoE 激活约 3B 参数，可在 12GB 显存 GPU 上运行 368K 上下文。
推荐理由
三值量化把 30B MoE 压到 12GB 显存并保留 368K 上下文，量化包还同时兼容 llama.cpp 与 Bonsai 两个引擎。
来源：AGI Hunt · agihunt.info