16GB显存本地跑Swift 1.5量化模型达50tps

2026年10月7日，有报道称Reddit用户在一台16GB显存加32GB内存的机器上，以iq2xs量化方式本地运行Swift 1.5，实测平均生成速度约50 tps，峰值达73 tps，prefill约800 t/s。该用户表示希望进一步降低量化位宽，以减小KLD、提升agentic coding精度，并正面向社区征集可用的配置方案。目前事件仍停留在用户自测与社区征集阶段，报道中未披露更多硬件细节或后续验证结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。