Attention 机制演化综述：59 个模型记录揭示「上下文记忆」成设计核心

一篇 LLM 注意力机制演化综述基于 14 个模型谱系的 59 条发布级记录和 11 个开源权重端点，提出记忆表示、更新、访问、读出、整合五维分析视角。综述发现显式记忆与循环状态方法的接口界限正趋模糊，异构架构沿网络深度分层组合互补记忆，并据此提出状态化多维记忆路由假说。高效序列架构设计正从「孤立 Attention 算子」转向「上下文记忆的组织与生命周期管理」。