跳到正文
热点事件持续更新

用户发布 ALHR 长上下文注意力,KV 压缩 550 倍

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026 年 10 月 13 日,有用户在 Reddit 发布长上下文注意力系统 ALHR 的更新。该系统自称采用 O(NlogN) 的树形注意力,基于静态二叉树加可学习函数,减少推理时需要读取的 key 数量。作者称在 MQAR 任务上长上下文准确率约 97%。实测数据为:上下文长度 4096 时 KV 读取压缩 126 倍、每 token 仅读取 32 个 key,Top-1 准确率 93.3%,稠密基线为 95.4%;上下文长度 16384 时 KV 读取压缩 550 倍,准确率降至 79.2%。目前公开信息仅来自发布者的自述与实测数据,尚无第三方复现或同行评议。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月13日
  1. AGI Hunt
    ALHR:自研 O(NlogN) 树形注意力,KV 压缩 550 倍仍保 79% 精度

    Reddit 用户发布长上下文注意力系统 ALHR 更新,基于静态二叉树加可学习函数减少需读取的 key 数量,MQAR 任务上长上下文准确率约 97%。实测上下文 4096 时 KV 读取压缩 126 倍、每 token 仅读 32 个 key,Top-1 准确率 93.3%(稠密基线 95.4%);16384 时压缩 550 倍、准确率 79.2%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。