跳到正文
热点事件持续更新

ID Balancing 用 PID 控制稳定超稀疏 MoE 训练

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

2026 年 10 月 1 日,AGI Hunt 报道 arXiv 一篇论文提出 ID Balancing(积分-微分控制器),用于稳定 256 倍稀疏 MoE 模型的训练。报道称,该方法把 DeepSeek 此前的 loss-free 平衡方法与 Kimi K3 使用的 Quantile Balancing,统一解释为不完备的 PID 控制器:其中积分项随负载误差缩放,微分项仅在失衡恶化时启用。报道将核心结论表述为可在极高稀疏度下稳定训练。报道未给出该方法的实验规模、对比基线等更多细节,也没有提及工程落地或复现情况。此前的相关报道未在本批次中出现,故无法就数字或说法差异进行对照。

AI 根据报道生成 · 46 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月1日
  1. AGI Hunt
    ID Balancing 用 PID 控制论稳定 256 倍稀疏 MoE 训练

    arXiv 论文提出 ID Balancing(积分-微分控制器),把 DeepSeek 的 loss-free 方法与 Kimi K3 的 Quantile Balancing 统一为不完备的 PID 控制器,积分项随负载误差缩放、仅在失衡恶化时启用微分项。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。