跳到正文
原文
AGI Hunt· ILoveDangerousStuff2·· 2 小时前AI 评分29

8 张 P100 跑 Qwen3.8 Flash Q4:并发槽位数不同,吞吐量剧烈波动

AI 导读

在 8 张 P100 的 G292-Z20 服务器上自编译 llama.cpp 运行 Unsloth 版 Qwen 3.8 Flash Next Q4,并发槽位数一变,总吞吐就会剧烈波动。

来源:AGI Hunt · agihunt.info