新开源模型权重大小盘点：Q4 量化约 20.8GB，24G 显卡可跑

AIFlow_ML 分享的某新开源模型权重大小估算显示，BF16 全精度约 66 GB，Bartowski 的 GGUF 量化版本中 Q4KM 约 20.8 GB、Q5KM 约 25 GB、Q80 约 35 GB。单张 24 GB 显卡即可装下 Q4 权重，还能留出空间跑短上下文。