E-MoE 用专家路由作共享隐变量，改进少步扩散语言模型生成

E-MoE 把掩码扩散模型（MDM）的反向过程建模为由 MoE 骨干专家路由决策定义的离散共享隐变量上的混合分布，以改进少步生成质量。该方案不增加相对因子化基线的激活参数量，也避开了依赖 VAE 的连续高斯隐变量方案易出现的后验坍缩。在合成多模态基准、二值化 MNIST 与 LM1B 上，E-MoE 提升了少步生成质量。