跳到正文
原文
AGI Hunt· brainchillzZ·· 3 小时前AI 评分58

实测发现 Gufo 的 70 tok/s 宣传基于重复 prompt,日常中位仅 39.4 tok/s

实测拆穿 Gufo 70 tok/s 宣传:重复词基准虚高,日常仅 39 tok/s

AI 导读

作者在 Strix Halo 上实测开源推理引擎 Gufo 运行 Qwen 27B Q4,复现了 70 tok/s 的宣传数字,但指出日常 prompt 下中位速度只有 39.4 tok/s(22–52 浮动),宣传数字来自「写 red 1000 次」这类重复 prompt,此时投机解码的草稿模型每次都能猜对。

来源:AGI Hunt · agihunt.info