AGI Hunt· AIFlow_ML·· 2 小时前AI 评分57
RTX 5090 跑 33B Q4 模型约 86 tokens/s:买显存带宽别买 TFLOPS
AI 导读
AIFlow_ML 按 RTX 5090 的 1,792 GB/s 显存带宽估算,运行 Q4 量化后约 21 GB 的 33B 模型,理论最好情况约 86 tokens/s,且未计上下文影响。由此得出的结论是本地推理速度瓶颈在显存带宽而非算力,选卡时应买内存速度,而不是 TFLOPS。
来源:AGI Hunt · agihunt.info