跳到正文
原文
AGI Hunt· macboller·· 4 小时前AI 评分53

实测反直觉:4 卡 3090 跑 Qwen 关闭 MTP 反而快 17%

AI 导读

作者实测 Qwen3.6 35B A3B(Q6 量化)在 4x RTX 3090 上的解码速度,开启 MTP 约 70 tokens/s,关闭 MTP 后约 82 tokens/s,快了 17%。

来源:AGI Hunt · agihunt.info