AGI Hunt· vitamins1000·· 2 小时前AI 评分22
双 A100 80GB 跑 Qwen3.8 Flash:单用户 70tk/s,多用户骤降至 15
双 A100 80GB 跑 Qwen3.8 Flash:单用户 70tk/s,多用户骤降至 15
AI 导读
Reddit 用户实测在 Proxmox 直通的双 A100 80GB PCIe 服务器上用 llama.cpp 跑 Qwen3.8 Flash,单用户生成 50-70 tk/s,并发 2-3 个会话时骤降至 10-15 tk/s。
来源:AGI Hunt · agihunt.info