MoE 经典论文精读：稀疏门控如何让模型容量提升千倍

MoE 经典论文精读讲解稀疏门控：不为每个输入激活整个模型，而由可训练门控网络为每个样本选择稀疏专家组合。「用论文学 AI」系列第 5 期配套的 2017 年论文《Outrageously Large Neural Networks》含数千个前馈子网络，在语言建模和机器翻译上以最高 1370 亿参数实现模型容量超 1000 倍提升，计算效率损失很小，成绩优于当时 SOTA。