AGI Hunt· Subject_Poet_3861·· 3 小时前AI 评分59
Glyd 0.31 发布,单卡 24GB 可跑 Gemma 4 31B QAT,4090 上达 46 tok/s
单卡 24GB 跑 Gemma 4 31B QAT:4090 上 46 tok/s,加草稿模型达 80
AI 导读
作者发布自研推理引擎 Glyd 0.31,可在单张 24GB 显卡上运行 Google 的 Gemma 4 31B 与 12B QAT 检查点。量化不走自研方案,而是原样存储 Google QAT 检查点的 4-bit 编码加每 32 权重一个 scale,约 4.5 bit/权重,可用 glyd verify 对照 sha256 校验。
来源:AGI Hunt · agihunt.info