跳到正文
原文
AGI Hunt· AIFlow_ML·· 4 小时前AI 评分48

4 台 DGX Spark 集群跑 GLM-4.6-Flash:1M 上下文、16 并发的本地部署配方

4 台 DGX Spark 集群跑 GLM-4.6-Flash:1M 上下文 16 并发的本地部署配方

AI 导读

开发者 tenhkspark 公开了用 4 台 DGX Spark(各 128GB 统一内存)搭建全本地推理集群的完整配方,以 1M 上下文、16 路并发运行 GLM 系列模型。官方推荐装法达不到该上下文与并发数,因此他更换推理加载器,修改部分经代码审计确认安全。仓库以 MIT 协议开源,含 perf-test 等实测脚本,并附 Nemotron Parse 在 GB10 上的自建方法。

来源:AGI Hunt · agihunt.info