Spotlight 架构引热议：注意力记忆能力配线性成本遭质疑

账号 teortaxesTex 质疑 Spotlight 混合注意力/循环记忆架构的效率宣称：一次记忆访问要触及 9 个单元，而每个单元是每个注意力头一整个 dk×dv 矩阵，常数因子可能相当大。该架构的设计描述是把注意力不断增长的记忆与容量、同固定状态循环模型的线性计算成本结合，作者认为这种开销可能源于 Continual Learning（CL）式设计。