AGI Hunt· yoavartzi·· 2 小时前AI 评分49
删 98.4% KV cache 反而更准:Looped Transformer 共享记忆新论文
AI 导读
Cornell 与 IBM Research 的论文发现,Looped Transformer 只需第一轮递归写 KV cache、后续各轮共享读取:1B 参数模型第 25 轮删除 98.4% 缓存后,FineWeb-Edu perplexity 从 11.39 降至 10.32,KV 内存占用减少 4.7 倍。
来源:AGI Hunt · agihunt.info