跳到正文
原文
AGI Hunt· ayobluestarr·· 3 小时前AI 评分58

单卡 RTX 5070 12GB 跑 Qwen3.8-Flash-Next 177B,实测 11-15 tok/s

单卡 RTX 5070 12GB 跑 177B 模型,实测 11-15 tok/s

AI 导读

作者在单卡 RTX 5070 12GB 显存、32GB DDR4 与 Ryzen 5 5600GT 平台上,用基于 llama.cpp 的专家流式方案本地运行 Qwen3.8-Flash-Next 177B(UD-IQ3XS 量化),基准 11.5 tok/s,较原有方案约 7 tok/s 提升,日常对话达 14-15 tok/s。

来源:AGI Hunt · agihunt.info