DOT-MoE：用最优传输把稠密模型改造成稀疏 MoE

DOT-MoE 把稠密模型转稀疏 MoE 时的神经元分配问题重构为最优传输问题——神经元在严格容量约束下被“运输”到各专家。现有 MoEfication 方法依赖随机划分、权重相似度、激活模式聚类等启发式规则，分配神经元时不考虑其对模型输出的实际影响。而稀疏 MoE 虽能靠每 token 只激活一小部分参数降低开销，从头训练 MoE 却成本高且不稳定。