跳到正文
原文
AGI Hunt· milpster·· 3 小时前AI 评分36

实测:Qwen3 27B 配 Dflash2,草稿模型用 Q4 量化提速最明显

AI 导读

Reddit 用户实测 Qwen3 27B 搭配 Dflash2 做投机解码,草稿模型用 Q4 量化时提速最明显。测试中 agent 生成 F16、Q8、Q4 三档草稿模型,Q4 的接受率与高精度草稿模型大致相当,结论是这类配置应尝试更低精度的草稿模型量化。

来源:AGI Hunt · agihunt.info