跳到正文
原文
AGI Hunt· SnooPredictions515·· 4 小时前精选AI 评分65

Slipstream 引擎发布,64GB Mac 运行 95.5GiB 大模型提速 1.76 倍至 52 tok/s

Slipstream 引擎让 64GB Mac 跑 95.5GiB 大模型提速 1.76 倍至 52 tok/s

AI 导读

开发者 npanj 发布 Slipstream,这是为 Apple Silicon 打造的编译型 C++ Metal 推理引擎,可在单台 64GB Mac 上以 41–52 tok/s 运行 95.5 GiB 的 Qwen3.8-Flash-Next 模型。

推荐理由

同权重下对比 llama.cpp fork 的 23.1 tok/s,Slipstream 在 64GB Mac 上跑到 41–52 tok/s,可据此判断本地大模型的可用边界。

来源:AGI Hunt · agihunt.info