arXiv cs.AI· Tianqi Chen, Xunchao Li, Linchuan Xie, Guanghua Yu, Jianchen Zhu, Peisong Wang, Jian Cheng·· 4 小时前AI 评分43
RAQ-MLA：面向 MLA 缓存的角色感知量化方法
RAQ-MLA: Role-Aware Quantization for Multi-Head Latent Attention Caches
AI 导读
RAQ-MLA 提出无需训练的角色感知量化方法，把 MLA 完整 KV 缓存压至约 2.5 bit/元素，理论缓存容量提升 6.5 倍。它针对两类缓存张量分别拟合可逆变换：latent 主要提供 value，按注意力加权 value 误差优化；位置 key 主导注意力分数，按分数扰动优化。在四个 MLA 模型上，推理与代码任务几乎无损。
来源：arXiv cs.AI · arxiv.org