AGI Hunt· sitytitan·· 3 小时前AI 评分29
3360 美元攒 Threadripper 主机配 256GB 内存与 44GB 显存,Reddit 用户求大模型推理速率建议
3360 美元攒 256GB 内存 Threadripper,求跑大模型推理速率建议
AI 导读
一位 Reddit 用户晒出 3360 美元的本地推理主机:2x 16GB 4060 Ti 加 1x 12GB 4070 共 44GB 显存,3960X 线程撕裂者配 256GB DDR4 四通道 3200MHz 内存,约 100GB/s 的内存带宽成为主要瓶颈。他在跑 Qwen 27B 256K 上下文后想尝试 DeepSeek、GLM 等更大模型,向网友询问能拿到怎样的 token/s。
来源:AGI Hunt · agihunt.info