跳到正文
原文
AGI Hunt· pcuenq·· 3 小时前AI 评分35

晒出自制微型集群:M5 Max 128GB + Linux RTX 6000 跑本地 AI

晒出自制微型集群:M5 Max 128GB+Linux RTX 6000 跑本地 AI

AI 导读

作者晒出自制微型推理集群:M5 Max(128GB)、未启用的 M1 Max(64GB)和一台搭载 RTX 6000 Blackwell 的 Linux 主机。Mac 之间用 Thunderbolt 连接,M5 与 Linux 主机用 10 GbE,配合异构分布式推理方案跑本地大模型,同频道信息显示 MiMo 2.6 Flash 达 40 tokens/sec。

来源:AGI Hunt · agihunt.info