跳到正文
原文
AGI Hunt· jacek2023·· 4 小时前AI 评分47

llama.cpp 新 PR 为 CUDA 和 HIP 实现 GDN 分块核:RTX 4090 上 35B 模型提速 11%

llama.cpp 新 PR 提速 GDN 分块核:4090 上 35B 模型快 11%

AI 导读

llama.cpp 新 PR #29353 为 CUDA 和 HIP 实现 GDN 分块核,Qwen3.5-35B-A3B-Q80 在 RTX PRO 6000 Blackwell 上解码从 14,090 提升到 16,595 tok/s,提速 17.8%。

来源:AGI Hunt · agihunt.info