长上下文 softmax 分母困境与稀疏化出路

长上下文处理中注意力被稀释的问题，被归结为一个数学瓶颈：softmax 的分母需要对每个 token 求和，而真正相关的 token 在分子上的贡献不变，随着上下文变长，注意力得分被摊薄，正确文档的权重几乎被淹没。据 AGI Hunt 2026 年 10 月 2 日报道，Weaviate 播客中提出两条稀疏化出路：一是 BlockSearch，采用长度感知缩放，并在注意力计算之前就丢弃低分文档；二是 REFRAG，用预先计算好的 chunk embedding 替代原始 token。报道未进一步说明这两条路线在效果或成本上的对比，也未给出实际落地情况。

AI 根据报道生成 · 40 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。