跳到正文
原文
AGI Hunt· teortaxesTex·· 3 小时前AI 评分35

DRMoET 论文:10.3B 规模 MoE 七任务均分 0.6767,碾压免辅助损失基线

AI 导读

NeurIPS 2026 论文 DRMoET 提出一种不加辅助损失、不改路由规则的 MoE 训练法,用激活加权的专家损失做熵正则 softmax 重加权,强化高损失路由路径。

来源:AGI Hunt · agihunt.info