跳到正文
原文
AGI Hunt· TheZachMueller·· 3 小时前AI 评分27

TheZachMueller 用 4 张卡组 RAID10 镜像,抢先试水 SSD 混合推理

网友用 4 张卡组 RAID10 镜像,抢先试水 SSD 混合推理

AI 导读

TheZachMueller 称自己又一次「起太早」,已搭好 4 套方案,用成对卡间 RAID10 镜像来跑 SSD 混合推理,试图以大容量 SSD 承接超出显存的模型权重。该路线意在降低推理成本,但目前硬件先行、生态未熟,属于端侧与本地推理 infra 的早期实践。

来源:AGI Hunt · agihunt.info