llama.cpp 合并新 Metal 内核提速 Mac 投机解码

2026 年 10 月 5 日，据 AGI Hunt 报道，llama.cpp 已合并 qvac 团队提交的 PR，该 PR 由 ggerganov 审核并合入。此改动为 Apple Silicon 带来面向 Mac 的新 Metal 内核，针对此前在 Mac 上投机解码（speculative decoding）反而比普通串行解码更慢的问题进行修复。报道称，合并后 Mac 上的投机解码速度提升 3.4 倍，达到 110 tok/s。截至该报道，新内核已进入 llama.cpp 主仓库，事件目前进展即为该 PR 完成合并。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。