AGI Hunt· royalflash417·· 3 小时前AI 评分22
16GB 显存跑 Swift 1.5 量化版:50 tps 实测后还能再压量化吗
16GB 显存跑 Swift 量化版:50 tps 实测后还能再压量化吗
AI 导读
Reddit 用户在 16GB 显存 + 32GB RAM 上以 iq2xs 量化本地运行 Swift 1.5,平均生成速度约 50 tps(峰值 73 tps),prefill 约 800 t/s。作者希望进一步降低量化位宽以减小 KLD、提升 agentic coding 精度,正面向社区征集配置方案。
来源:AGI Hunt · agihunt.info