AGI Hunt· Alarming-Emotion-894·· 4 小时前AI 评分29
ALHR:自研 O(NlogN) 树形注意力,KV 压缩 550 倍仍保 79% 精度
自研 O(NlogN) 树形注意力:KV 压缩 550 倍仍保 79% 精度
AI 导读
Reddit 用户发布长上下文注意力系统 ALHR 更新,基于静态二叉树加可学习函数减少需读取的 key 数量,MQAR 任务上长上下文准确率约 97%。实测上下文 4096 时 KV 读取压缩 126 倍、每 token 仅读 32 个 key,Top-1 准确率 93.3%(稠密基线 95.4%);16384 时压缩 550 倍、准确率 79.2%。
来源:AGI Hunt · agihunt.info