又一美国大厂采用混合滑窗注意力，OLMo架构引热议

2026年10月16日，eliebakouch 指出，又一家美国主要实验室采用了混合滑窗注意力（hybrid sliding window attention），OLMo 的架构选择随之引发讨论。saurabhshah2 称 OLMo 架构「很精英」，并明确表示反对 MLA（Multi-head Latent Attention）路线。讨论由此聚焦于注意力机制设计上的路线之争：混合滑窗方案与 MLA 路线。目前相关讨论围绕 OLMo 的架构选择展开，由业界人士在社交平台上提出。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。