百度与北大提出VHA注意力机制

2026年10月16日，AGI Hunt 报道，百度与北京大学合作提出 Virtual Head Attention（VHA）。报道称，VHA 通过两个轻量线性操作，可同时压缩长上下文大语言模型的 KV cache、训练 FLOPs 与 prefill FLOPs，并在此过程中保持模型质量。该工作针对的是长上下文 LLM 在训练与推理时显存及算力开销偏高的问题，是目前关于该注意力机制的最新公开进展，暂未出现与之矛盾的后续报道。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。