热点事件持续更新
港大伯克利提出 Nestor：注意力嵌套稀疏机制
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月27日，AGI Hunt 报道了香港大学朱天泽、UC Berkeley 的 Druv Pai 与 Yi Ma 的论文提出的 Nestor。该工作把稀疏性引入注意力算子，形成一种天然嵌套的条件计算机制，与在 MLP 层做稀疏化的 MoE 思路不同。论文声称，Nestor 在预训练、长上下文适配和持续学习三方面均优于标准 MoE transformer。报道认为，该机制为大规模可扩展训练提供了 MoE 之外的另一条路径。目前该工作处于论文发布阶段，报道未披露更多实验细节或后续落地计划。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 16:17
论文提出 Nestor，将稀疏性引入注意力算子，声称预训练与持续学习优于标准 MoE。报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- AGI Hunt港大伯克利提出 Nestor：注意力嵌套稀疏替代 MoE，兼顾预训练与持续学习
港大朱天泽、UC Berkeley Druv Pai 与 Yi Ma 的论文提出 Nestor，一种将稀疏性引入注意力算子且天然嵌套的条件计算机制。它不同于在 MLP 层做稀疏化的 MoE，论文声称其在预训练、长上下文适配和持续学习上优于标准 MoE transformer。该机制为大规模可扩展训练提供了 MoE 之外的另一条路径。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。