长上下文 softmax 分母困境：注意力稀释与 BlockSearch、REFRAG 两条稀疏化出路

长上下文的核心数学瓶颈在 softmax 分母：分母需对每个 token 求和，而相关 token 分子不变，注意力得分被摊薄，正确文档几乎被淹没。Weaviate 播客提到两条出路：BlockSearch 用长度感知缩放并在注意力前丢弃低分文档，REFRAG 用预计算 chunk embedding 替代原始 token。