港大伯克利提出 Nestor：注意力嵌套稀疏替代 MoE，兼顾预训练与持续学习

港大朱天泽、UC Berkeley Druv Pai 与 Yi Ma 的论文提出 Nestor，一种将稀疏性引入注意力算子且天然嵌套的条件计算机制。它不同于在 MLP 层做稀疏化的 MoE，论文声称其在预训练、长上下文适配和持续学习上优于标准 MoE transformer。该机制为大规模可扩展训练提供了 MoE 之外的另一条路径。