AGI Hunt· saurabh_shah2·· 4 小时前AI 评分28
又一美国大厂采用混合滑窗注意力,OLMo 架构引热议
又一美国大厂采用混合滑窗注意力,OLMo 架构引热议
AI 导读
eliebakouch 指出,又一家美国主要实验室采用了混合滑窗注意力(hybrid sliding window attention),OLMo 的架构选择随之引发讨论。saurabhshah2 称 OLMo 架构「很精英」,并明确表示反对 MLA(Multi-head Latent Attention)路线。这反映出注意力机制设计上混合滑窗方案与 MLA 路线之争。
来源:AGI Hunt · agihunt.info