用专家选择偏置克服 MoE 数据不平衡

研究者提出类别条件化的专家选择偏置，在 MoE 中按输入类别把 token 优先路由到专门专家池，将专家容量向数据稀缺的类别倾斜。在最多 10.6B 参数的模型上，多模态、低资源语言和代码任务均取得性能提升；最小与最大规模模型的增益分别相当于额外使用 18.5% 和 2.7% 的基线训练 token，且推理仍保持标准 MoE 形式。