AGI Hunt· Yingfa Chen·· 3 小时前AI 评分41
清华提出 Latent Compaction：KV 缓存压缩 32 倍仍保 96.7% 检索精度
清华提出 Latent Compaction:KV 缓存压缩 32 倍仍保 96.7% 检索精度
AI 导读
清华 NLP 组提出 Latent Compaction，通过测试时训练学习紧凑的文档级 KV 缓存，压缩 32 倍仍保持 96.7% 检索精度。该方法全程冻结模型权重，训练只使用文档的通用提示，不需要访问下游问题与答案。
来源：AGI Hunt · agihunt.info