AGI Hunt· sisyphus-cycle·· 3 小时前AI 评分54
单张 RTX 4090 本地跑 Qwen3.8 量化版,三个参数让解码提速 45%
RTX 4090 跑 Qwen3.8 量化版:三个参数让解码提速 45%
AI 导读
作者在单张 RTX 4090(24GB 显存)加 48GB 内存、Ryzen 3900X 的 Windows 机器上,用 Strata 推理引擎 v0.43 本地运行 Qwen3.8-Flash-Next 的 IQ3S 量化版(上下文 200k),靠三个参数把解码速度从 97 tok/s 提到 142 tok/s,提升 45%。
来源:AGI Hunt · agihunt.info