arXiv cs.CL· Tianfang Xie, Wei Zhu·· 2 天前AI 评分35
超越平均注意力：面向 KV cache 驱逐的多样性感知分层打分
Beyond Mean Attention: Diversity-Aware, Layer-Wise Scoring for KV Cache Eviction
AI 导读
针对 SnapKV、PyramidKV 等只按平均注意力排序 token 的 KV cache 驱逐方法，该研究提出加入注意力离散度与冗余惩罚的统一打分，其相似度惩罚无需额外前向。
来源：arXiv cs.CL · arxiv.org