跳到正文
热点事件持续更新

DOT-MoE:最优传输实现稠密模型转稀疏MoE

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月16日,AGI Hunt 报道了 DOT-MoE 方法:它把稠密模型转成稀疏 MoE 时的神经元分配问题重构为最优传输问题,神经元在严格容量约束下被“运输”到各个专家。报道指出,此前的 MoEfication 方法依赖随机划分、权重相似度、激活模式聚类等启发式规则,在分配神经元时不考虑其对模型输出的实际影响。报道同时说明,稀疏 MoE 虽然能靠每个 token 只激活一小部分参数来降低开销,但从头训练 MoE 成本高且不稳定。目前的信息仅来自这一篇报道,尚无后续进展或独立验证。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. AGI Hunt
    DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE

    DOT-MoE 把稠密模型转稀疏 MoE 时的神经元分配问题重构为最优传输问题——神经元在严格容量约束下被“运输”到各专家。现有 MoEfication 方法依赖随机划分、权重相似度、激活模式聚类等启发式规则,分配神经元时不考虑其对模型输出的实际影响。而稀疏 MoE 虽能靠每 token 只激活一小部分参数降低开销,从头训练 MoE 却成本高且不稳定。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。