跳到正文
原文
AGI Hunt· Aggravating-Push-207·· 4 小时前AI 评分35

MTP 反而更慢?8GB 显卡跑 Ornith 1.5 9B 实测吞吐减半引讨论

MTP 反而更慢?8GB 显卡跑 9B 模型实测吞吐减半引讨论

AI 导读

Reddit 用户在最新 llama.cpp 上用 draft-MTP 加速 Ornith 1.5 9B 的 GGUF 量化版,8GB RTX 4060 上吞吐反而减半。生成约 15 tok/s、预填充 200 tok/s,draft 接受率高达 0.95,但显存带宽与 GPU 利用率也只剩一半。作者怀疑是消费级显存受限下的调度或实现问题,帖中附完整启动命令。

来源:AGI Hunt · agihunt.info