AGI Hunt· bodhi371·· 3 小时前AI 评分56
低配硬件实测 Qwen3.8 27B:12GB 显存解码约 18 tok/s
低配硬件实测跑 Qwen3.8 27B:12GB 显存即可胜任
AI 导读
多位用户在消费级低配硬件上实测运行 Qwen3.8 27B。网友 bodhi371 在 12GB 显存加 8GB 内存的配置下跑通该模型,解码速度约 18 tok/s,64k 上下文下预填充可达 500-600 t/s;另有作者在 16GB 显存(5060Ti 加单通道 DDR5)上测试,结论是可行但并非全量模型,推荐使用 IQ3 量化方案,可支持最高 131k 上下文。
来源:AGI Hunt · agihunt.info