跳到正文
热点事件持续更新

RoPERelay:稀疏KV缓存选择后位置几何优化

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026 年 10 月 16 日,arXiv cs.CL 刊出论文《压缩不止于选择:稀疏 KV 缓存的选择后位置几何与 RoPERelay》。该工作针对稀疏 KV 缓存中被保留下来的 key 因原始位置坐标被打乱而难以有效利用的问题,提出 RoPERelay:在选择之后重构位置几何,为保留的缓存分配紧凑且保序的 RoPE 坐标,并重定位缓存 key 的相位,以改善所保留信息的使用效果。论文在 2 个模型、6 种稀疏选择器、3 个长期记忆任务上共做 36 组对比,其中 32 组答案质量提升;Llama-3.1-8B-Instruct 搭配 BM25 时,在 LongMemEval-S 上准确率由 23.6% 升至 35.4%。截至目前该事件仅有这一篇报道,尚无后续进展或第三方复现消息。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. arXiv cs.CL
    压缩不止于选择:稀疏 KV 缓存的选择后位置几何与 RoPERelay

    RoPERelay 为稀疏 KV 缓存重构选择后的位置几何,分配紧凑、保序的 RoPE 坐标并重定位缓存 key 相位,以改善保留信息的使用。在 2 个模型、6 种稀疏选择器、3 个长期记忆任务的 36 组对比中,32 组答案质量提升;Llama-3.1-8B-Instruct 配 BM25 在 LongMemEval-S 上准确率从 23.6% 升至 35.4%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。