AGI Hunt· ggerganov·· 6 小时前AI 评分52
llama.cpp 合并新 Metal 内核，Mac 投机解码提速 3.4 倍至 110 tok/s
llama.cpp 新 Metal 内核合并，Mac 投机解码提速 3.4 倍至 110 tok/s
AI 导读
ggerganov 审核并合并了 qvac 团队的 PR，为 llama.cpp 带来面向 Apple Silicon 的新 Metal 内核，修复了 Mac 上投机解码反而比普通串行解码更慢的问题。
来源：AGI Hunt · agihunt.info