ResidualQuant 压缩 KV cache 解码吞吐最高提升 4.15 倍

KV cache 压缩技术 ResidualQuant 在 Ouro-1.4B 模型上完成实测，RTX 5090 显卡、16K 上下文条件下解码吞吐最高提升 4.15 倍。其原理是压缩 KV cache 降低每请求的显存流量并释放 GPU 显存，从而支持同时服务更多请求，显著提高推理服务的并发能力。