跳到正文
热点事件持续更新

RAQ-MLA:面向MLA KV缓存的角色感知量化

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月27日,arXiv cs.AI 发布 RAQ-MLA,一种面向 MLA(多头潜在注意力)完整 KV 缓存的无需训练的角色感知量化方法。该方法把缓存压缩至约 2.5 bit/元素,理论上缓存容量可提升 6.5 倍。它针对两类缓存张量分别拟合可逆变换:latent 张量主要承载 value 信息,因此按注意力加权后的 value 误差进行优化;位置 key 张量主导注意力分数,因此按分数扰动进行优化。报道称,该方法在四个 MLA 模型上,推理与代码任务几乎无损。目前仅有论文层面的结果,尚无其他来源的独立验证或工程落地报道。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.AI
    RAQ-MLA:面向 MLA 缓存的角色感知量化方法

    RAQ-MLA 提出无需训练的角色感知量化方法,把 MLA 完整 KV 缓存压至约 2.5 bit/元素,理论缓存容量提升 6.5 倍。它针对两类缓存张量分别拟合可逆变换:latent 主要提供 value,按注意力加权 value 误差优化;位置 key 主导注意力分数,按分数扰动优化。在四个 MLA 模型上,推理与代码任务几乎无损。

本事件热度走势

当前热度 9·可比范围峰值 10(10月27日 13:00)·近 24 小时可比范围变化 –

02.557.51010月27日13:0010月27日14:0010月27日14:0010月27日15:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。