研究量化自注意力「有效检索集」：少量 token 即可守住模型损失

研究提出免重训练量化自注意力「有效检索集」：在每个 head/layer/query 只保留注意力权重最高的 token，用 NLL 上升估算维持损失所需的集合规模。少量 token 即可让 NLL 接近全注意力基线，基于注意力的选择显著优于随机选择；扩展上下文会增大所需集合但占比下降，重新归一化保留权重可大幅缩小集合。