跳到正文
原文
AGI Hunt· royalflash417·· 3 小时前AI 评分22

16GB 显存跑 Swift 1.5 量化版:50 tps 实测后还能再压量化吗

16GB 显存跑 Swift 量化版:50 tps 实测后还能再压量化吗

AI 导读

Reddit 用户在 16GB 显存 + 32GB RAM 上以 iq2xs 量化本地运行 Swift 1.5,平均生成速度约 50 tps(峰值 73 tps),prefill 约 800 t/s。作者希望进一步降低量化位宽以减小 KLD、提升 agentic coding 精度,正面向社区征集配置方案。

来源:AGI Hunt · agihunt.info