Spotlight 架构效率宣称遭质疑

Spotlight 混合注意力/循环记忆架构近期引发热议。该架构的设计描述是：把注意力不断增长的记忆与容量，同固定状态循环模型的线性计算成本结合起来。2026 年 10 月 3 日，AGI Hunt 报道，账号 teortaxesTex 对其效率宣称提出质疑：一次记忆访问要触及 9 个单元，而每个单元是每个注意力头一整个 dk×dv 矩阵，因此常数因子可能相当大。该质疑者认为，这种开销可能源于 Continual Learning（CL）式设计。目前争议集中在常数因子开销上，报道中未提及实验数据或架构作者的回应。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。