热点事件持续更新
提出多流注意力残差 MSAR 架构
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026 年 10 月 12 日，arXiv cs.CL 收录一篇论文，提出多流注意力残差架构 MSAR（Multi-Stream Attention Residuals）。据该报道，MSAR 将 AttnRes 的单流深度注意力扩展为多头、多流的形式。论文报告称，在 18B 与 28B 的 MoE（混合专家）规模下，MSAR 在全部 12 个下游基准上均优于标准残差连接、mHC 与 AttnRes 三种对比方案。报道未披露这 12 个基准的具体名称、评测指标数值、训练数据与算力规模，也未给出消融实验或与对比方案在计算开销、参数量上的差异。目前该工作处于论文发布阶段，报道中没有提及代码开源、模型权重发布或第三方复现情况。
AI 根据报道生成 · 1 小时前更新
最新进展10月12日 12:00
arXiv 收录论文，MSAR 在 18B/28B MoE 的 12 个基准上均优于标准残差、mHC 与 AttnRes。报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv cs.CLMSAR：多流注意力残差架构（Multi-Stream Attention Residuals）
MSAR（Multi-Stream Attention Residuals）将 AttnRes 的单流深度注意力扩展为多头多流，在 18B 与 28B MoE 规模的全部 12 个下游基准上均优于标准残差连接、mHC 与 AttnRes。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。