跳到正文
原文
AGI Hunt· HankYeomans·· 6 小时前AI 评分41

456GB 大模型塞进 192GB 显存:混合 offload 推理实测跑通

AI 导读

作者在 192GB 显存 + 256GB 内存 + NVMe 的配置上以混合 offload 离线跑通 456GB 参数大模型,C1 解码 60.1 tok/s、C4 聚合解码 124.8 tok/s。

来源:AGI Hunt · agihunt.info