KAIST 提出 ResidualQuant 循环 KV 量化
先了解这件事
2026 年 10 月 12 日，AGI Hunt 报道 KAIST SEAL 团队提出 ResidualQuant，用于缓解 Looped Transformer 的 KV 缓存显存瓶颈。报道指出，循环架构复用同一组权重，但每轮循环都会生成各自的 K/V 状态，KV cache 随循环次数线性增长；上下文更长、batch 更大时开销进一步放大，并限制并发。ResidualQuant 的做法是利用不同循环间 KV 状态高度相似的特点，用共享的 4-bit 锚点加 2-bit 残差来重建各轮 KV 状态，用一条循环的状态重构另一条，使残差离群值大幅减少，从而避免直接做低比特压缩带来的信息丢失。报道称该方法只需 2-bit 即可表示，约节省 80% 显存。两篇报道内容一致，未出现数字或说法上的冲突。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- AGI HuntResidualQuant：利用循环间 KV 状态相似性做低比特量化，破解循环模型显存瓶颈
ResidualQuant 利用循环模型不同循环间 KV 状态高度相似的特点，用一条循环的状态重构另一条，残差离群值大幅减少，只需 2-bit 即可表示并省下约 80% 显存。循环架构中每轮循环都会生成自己的 K/V 状态，KV cache 随循环次数线性增长，更长上下文与更大 batch 会进一步放大开销并限制并发。
- AGI HuntKAIST 提出 ResidualQuant：2-bit 残差量化为循环 Transformer 省 80% KV 缓存
KAIST SEAL 团队提出 ResidualQuant，用共享 4-bit 锚点加 2-bit 残差重建 Looped Transformer 各轮 KV 状态，节省约 80% 显存。该方法针对循环复用同一组权重时每轮都会产生各自的 K/V 状态、KV 缓存随循环次数线性膨胀的问题。其利用各轮 KV 状态高度相似的特点，避免直接低比特压缩造成的信息丢失。
本事件热度走势
当前热度 9·可比范围峰值 10（10月12日 22:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。