热点事件持续更新
RAQ-MLA:面向MLA KV缓存的角色感知量化
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月27日,arXiv cs.AI 发布 RAQ-MLA,一种面向 MLA(多头潜在注意力)完整 KV 缓存的无需训练的角色感知量化方法。该方法把缓存压缩至约 2.5 bit/元素,理论上缓存容量可提升 6.5 倍。它针对两类缓存张量分别拟合可逆变换:latent 张量主要承载 value 信息,因此按注意力加权后的 value 误差进行优化;位置 key 张量主导注意力分数,因此按分数扰动进行优化。报道称,该方法在四个 MLA 模型上,推理与代码任务几乎无损。目前仅有论文层面的结果,尚无其他来源的独立验证或工程落地报道。
AI 根据报道生成 · 3 小时前更新
最新进展10月27日 12:00
RAQ-MLA 论文发布,称可将 MLA 完整 KV 缓存压至约 2.5 bit/元素、容量提升 6.5 倍且几乎无损。报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- arXiv cs.AIRAQ-MLA:面向 MLA 缓存的角色感知量化方法
RAQ-MLA 提出无需训练的角色感知量化方法,把 MLA 完整 KV 缓存压至约 2.5 bit/元素,理论缓存容量提升 6.5 倍。它针对两类缓存张量分别拟合可逆变换:latent 主要提供 value,按注意力加权 value 误差优化;位置 key 主导注意力分数,按分数扰动优化。在四个 MLA 模型上,推理与代码任务几乎无损。
本事件热度走势
当前热度 9·可比范围峰值 10(10月27日 13:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。