arXiv cs.CL· Jack Cai, Lijie Yang, Vasilis Kontonis, Dimitris Papailiopoulos, Shivam Garg·· 4 小时前AI 评分49
AbridgeKV：把长推理压缩进可学习 pause token 的 KV cache
AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens
AI 导读
AbridgeKV 把模型生成的文本块压缩进少量可学习 pause token 的 KV entries，并释放原块 cache，后续 token 改为关注这些 pause token。
来源：arXiv cs.CL · arxiv.org