AGI Hunt· eliebakouch·· 4 小时前AI 评分24
HySparse 2 架构被称「DeepSeek 味」,SWA 成稀疏注意力标配
HySparse 2 架构被称「DeepSeek 味」,SWA 成稀疏注意力标配
AI 导读
研究者 eliebakouch 点评 HySparse 2 的设计「very deepseek coded」,指出它与 DeepSeek 都在 YOCO 部分使用 SWA 层。他认为 SWA 几乎出现在所有新的稀疏注意力机制中,已成稀疏注意力的标配。另有线索提到小米新模型也采用 SWA,引发对其下一代模型架构方向的猜测。
来源:AGI Hunt · agihunt.info