跳到正文
原文
AGI Hunt· teortaxesTex·· 3 小时前AI 评分29

NYU 提出 DRMoET 鲁棒 MoE 训练法

AI 导读

纽约大学团队在 NeurIPS 2026 论文中提出 DRMoET(Distributionally Robust MoE Training),针对 MoE 稀疏路由的隐性可靠性问题。实验显示,负载均衡训练的 10.3B 模型在七个任务上均值提升至 0.6767,效果超越 DeepSeek 式免辅助损失方案与相关基线。

来源:AGI Hunt · agihunt.info