跳到正文
原文
AGI Hunt· Physical_Toe_2499·· 4 小时前AI 评分46

单台 DGX Spark 跑 510GB 的 DeepSeek V4.1 Flash:113.6GB 量化底座 + 40MB 领域侧挂件

单台 DGX Spark 跑 510GB 的 DeepSeek V4.1 Flash:113.6GB 量化底座+40MB 领域侧挂件

AI 导读

作者用自研 C/CUDA 引擎 YoungAi,把约 510GB 的 DeepSeek V4.1 Flash 压进单台 NVIDIA DGX Spark(128GB 统一内存)运行。核心是 VQ-8 量化底座 113.6GB 单独即完整模型,每个领域再挂约 40MB 侧挂件。金融、代码等五个领域加挂件后对原版 top-1 一致率提升,代码 78.61%→82.26%,投机解码达 43 tok/s。

来源:AGI Hunt · agihunt.info