跳到正文
原文
AGI Hunt· MoonsvnLyn·· 6 小时前AI 评分60

Strata 调优实录:16GB 显卡跑 Qwen3.8-Flash-Next 262K 上下文,解码提速约 3 倍

跑一次校准解码快 3 倍:16GB 显卡跑 256K 上下文的调优实录

AI 导读

作者在 5070 Ti 16GB、14700KF 与 96GB 内存的机器上用 Strata 运行 Qwen3.8-Flash-Next IQ3S 量化和 262K 上下文(KV cache 存内存,按 32K 窗口流入显存),解码速度从 17.2 tok/s 提升到冷启动 43、前缀缓存后 53.5 tok/s。

来源:AGI Hunt · agihunt.info