跳到正文
原文
AGI Hunt· jonejy·· 4 小时前AI 评分31

二手双 RTX 3090 本地跑 LLM:装好了却没快多少,瓶颈在哪?

二手双 3090 本地跑 LLM:装好了却没快多少,瓶颈在哪?

AI 导读

一位开发者用二手 2×RTX 3090 24GB 攒了台本地 LLM 机器,以 Ubuntu + llama.cpp 测试 Qwen 35B A3B 的 GGUF 量化与上下文长度,发现单卡装得下时加第二张卡收益不及预期,长上下文还会明显拉长 prefill。

来源:AGI Hunt · agihunt.info