Apple Machine Learning Research·· 1 天前精选AI 评分72
Apple 用 MLX 与 RDMA 在 Mac Studio 上本地及跨机推理，四机 Muse Spark Open 超 36 tokens/s
Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio
AI 导读
Apple 在官方研究博客中展示用最新版 MLX 在 Mac Studio 上本地与跨机分布式运行大语言模型，Muse Spark Open（816B MoE）在四台 Mac Studio 上解码速度超过 36 tokens/s。
推荐理由
原文给出 MLX 在单机与多台 Mac Studio 上的推理实测数据，并附跨机并行的启动命令，可供本地大模型部署参考。
来源：Apple Machine Learning Research · machinelearning.apple.com