跳到正文
热点事件持续更新

Glyd 0.31 单卡 24GB 跑 Gemma 4 31B QAT

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026 年 10 月 16 日,作者发布自研推理引擎 Glyd 0.31。据 AGI Hunt 报道,该版本可在单张 24GB 显存的显卡上运行 Google 的 Gemma 4 31B 与 12B QAT 检查点,并在 4090 上达到 46 tok/s。在量化方式上,Glyd 没有采用自研方案,而是原样存储 Google QAT 检查点的 4-bit 编码,并每 32 个权重配一个 scale,约合 4.5 bit/权重;用户可用 glyd verify 命令对照 sha256 进行校验。目前报道中未提及更早版本的性能数据,也没有其他来源的交叉验证。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. AGI Hunt
    Glyd 0.31 发布,单卡 24GB 可跑 Gemma 4 31B QAT,4090 上达 46 tok/s

    作者发布自研推理引擎 Glyd 0.31,可在单张 24GB 显卡上运行 Google 的 Gemma 4 31B 与 12B QAT 检查点。量化不走自研方案,而是原样存储 Google QAT 检查点的 4-bit 编码加每 32 权重一个 scale,约 4.5 bit/权重,可用 glyd verify 对照 sha256 校验。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。