ResidualQuant：利用循环间 KV 状态相似性做低比特量化，破解循环模型显存瓶颈

ResidualQuant 利用循环模型不同循环间 KV 状态高度相似的特点，用一条循环的状态重构另一条，残差离群值大幅减少，只需 2-bit 即可表示并省下约 80% 显存。循环架构中每轮循环都会生成自己的 K/V 状态，KV cache 随循环次数线性增长，更长上下文与更大 batch 会进一步放大开销并限制并发。