跳到正文
原文
AGI Hunt· Introvertosaurus·· 3 小时前AI 评分59

实测 PCIe 3.0 x1 跑双卡 tensor split,推理带宽约 100MB/s 并非瓶颈

实测 PCIe 3.0 x1 跑双卡 tensor split:推理仅需约 100MB/s 并非瓶颈

AI 导读

作者用 i5-14400F 加 2× RTX 3060 12GB 实测,第二张卡走 PCIe 3.0 x1 时,llama.cpp 跑 Gemma 31B Q5 从 layer split 换成 tensor split,速度由 14 t/s 提升到 20 t/s(+42%)。

来源:AGI Hunt · agihunt.info