跳到正文
热点事件持续更新

Looped Transformer共享KV缓存新论文

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月28日,AGI Hunt 报道了康奈尔大学与 IBM Research 的一篇新论文,该论文研究 Looped Transformer 的 KV 缓存共享机制。论文提出,这类模型只需在第一轮递归时写入 KV 缓存,后续各轮即可共享读取,无需重复写入。在 1B 参数模型上,第 25 轮递归时删除 98.4% 的 KV 缓存后,FineWeb-Edu 上的 perplexity 从 11.39 降至 10.32,说明效果不降反升;同时 KV 内存占用减少 4.7 倍。目前该工作以论文形式公开,报道中尚未提及后续复现或工程落地情况。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. AGI Hunt
    删 98.4% KV cache 反而更准:Looped Transformer 共享记忆新论文

    Cornell 与 IBM Research 的论文发现,Looped Transformer 只需第一轮递归写 KV cache、后续各轮共享读取:1B 参数模型第 25 轮删除 98.4% 缓存后,FineWeb-Edu perplexity 从 11.39 降至 10.32,KV 内存占用减少 4.7 倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。