研究量化自注意力有效检索集所需token规模

2026年10月1日，AGI Hunt 报道一项关于自注意力「有效检索集」规模的研究。该研究提出免重训练的量化方法：在每个 head、layer、query 上只保留注意力权重最高的 token，并以 NLL 上升幅度估算维持模型损失所需的集合规模。结果显示，少量 token 即可让 NLL 接近全注意力基线；基于注意力的 token 选择显著优于随机选择；上下文扩展会增大所需集合的规模，但其占比下降；对保留权重重新归一化可大幅缩小所需集合。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。