跳到正文
原文
AGI Hunt· Ishannaik·· 4 小时前AI 评分52

双 T4 跑 Qwen3.8-27B:DFlash2 投机解码让代码推理达 154 tok/s

双 T4 跑 Qwen3.8-27B:DFlash2 推理冲到 154 tok/s

AI 导读

作者在 Kaggle 免费双 T4 上以 EXL3 4.0bpw 量化加 exllamav3 运行 Qwen3.8-27B,配 DFlash2 block drafter(7 token)投机解码,38 个 prompt 套件整体达 55-57 tok/s,约为无 drafter 基线的 3 倍。

来源:AGI Hunt · agihunt.info