双 T4 上 Qwen3.8-27B 推理实测达 154 tok/s

2026年10月25日，AGI Hunt 报道了一次本地推理实测：作者在 Kaggle 免费的双 T4 显卡上运行 Qwen3.8-27B，采用 EXL3 4.0bpw 量化与 exllamav3 推理框架，并配合 DFlash2 block drafter（7 token）进行投机解码。在代码推理场景下，速度达到 154 tok/s；在由 38 个 prompt 组成的测试套件上，整体速度为 55-57 tok/s，约为不启用 drafter 基线的 3 倍。此前版本已给出 154 tok/s 的实测数字，本次报道补充了量化位宽、推理框架、drafter 配置与测试套件规模等细节，两版在数字上并无矛盾：154 tok/s 是代码推理场景的成绩，而整体套件为 55-57 tok/s。目前进展仍为个人实测分享，尚无更多独立复现或官方数据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。