跳到正文
原文
AGI Hunt· Teknium·· 6 天前AI 评分49

两台桌面 DGX Spark 跑起 462GB DeepSeek 模型,专家压到 2.77bit

两台桌面 DGX Spark 跑起 462GB DeepSeek 模型,专家压到 2.77bit

AI 导读

开发者 sudoingX 用 @0xSero 的方案,把传闻中的 DeepSeek v4.1 flash(未证实版本号)部署到两台 DGX Spark 上。462GB 检查点跨两台机器加载,routed experts 用 EXL3 压到 2.77 bits,engram 表格从 NVMe 流式读取,使 462GB 模型跑在 256GB 总显存里。

来源:AGI Hunt · agihunt.info