跳到正文
原文
AGI Hunt· yoavartzi·· 2 小时前AI 评分49

删 98.4% KV cache 反而更准:Looped Transformer 共享记忆新论文

AI 导读

Cornell 与 IBM Research 的论文发现,Looped Transformer 只需第一轮递归写 KV cache、后续各轮共享读取:1B 参数模型第 25 轮删除 98.4% 缓存后,FineWeb-Edu perplexity 从 11.39 降至 10.32,KV 内存占用减少 4.7 倍。

来源:AGI Hunt · agihunt.info