AGI Hunt· jacek2023·· 4 小时前AI 评分47
llama.cpp 新 PR 为 CUDA 和 HIP 实现 GDN 分块核:RTX 4090 上 35B 模型提速 11%
llama.cpp 新 PR 提速 GDN 分块核:4090 上 35B 模型快 11%
AI 导读
llama.cpp 新 PR #29353 为 CUDA 和 HIP 实现 GDN 分块核,Qwen3.5-35B-A3B-Q80 在 RTX PRO 6000 Blackwell 上解码从 14,090 提升到 16,595 tok/s,提速 17.8%。
来源:AGI Hunt · agihunt.info