KAIST 提出 ResidualQuant：2-bit 残差量化为循环 Transformer 省 80% KV 缓存

KAIST SEAL 团队提出 ResidualQuant，用共享 4-bit 锚点加 2-bit 残差重建 Looped Transformer 各轮 KV 状态，节省约 80% 显存。该方法针对循环复用同一组权重时每轮都会产生各自的 K/V 状态、KV 缓存随循环次数线性膨胀的问题。其利用各轮 KV 状态高度相似的特点，避免直接低比特压缩造成的信息丢失。