AGI Hunt· TheZachMueller·· 4 小时前AI 评分25
开发者用 RAID10 双阵列本地跑 GLM 5.3 Flash:冷加载约 1 分钟
用 RAID10 双阵列本地跑 GLM 模型:冷加载约 1 分钟
AI 导读
开发者 TheZachMueller 分享本地大模型推理存储方案:用两组独立的 RAID10 阵列,较小的做 scratch 临时盘,较大的存放活跃模型权重。他称以该配置冷加载 GLM 5.3 Flash 的 NVFP4 量化版本约需 1 分钟,并计划改用 NVMe-oF 后进一步提升速度。
来源:AGI Hunt · agihunt.info