跳到正文
原文
AGI Hunt· AIFlow_ML·· 4 小时前AI 评分54

网友测算 MiniMax 新开源模型显存需求:Q4 量化 20.8GB 可在 24G 显卡运行

MiniMax 新开源模型显存需求实测:Q4 量化 20.8GB 可跑 24G 卡

AI 导读

网友对 MiniMax 新开源模型的部署成本测算显示,BF16 全精度权重约 66GB,Bartowski 提供的 GGUF 量化版中 Q4KM 约 20.8GB、Q5KM 更大,24GB 显存显卡即可运行量化版本。

来源:AGI Hunt · agihunt.info