arXiv cs.CL· Xiaohan Qin, Xiangdong Zhang, Tuo Dai, Sunan Zou, Huaijin Wu, Yebin Yang, Zhuo Xia, Lin Yao, Yuliang Liu, Junchi Yan·· 3 小时前AI 评分37
MSAR：多流注意力残差架构（Multi-Stream Attention Residuals）
Multi-Stream Attention Residuals
AI 导读
MSAR（Multi-Stream Attention Residuals）将 AttnRes 的单流深度注意力扩展为多头多流，在 18B 与 28B MoE 规模的全部 12 个下游基准上均优于标准残差连接、mHC 与 AttnRes。
来源：arXiv cs.CL · arxiv.org