跳到正文
原文
AGI Hunt· teortaxesTex·· 3 小时前AI 评分47

ID Balancing 用 PID 控制论稳定 256 倍稀疏 MoE 训练

AI 导读

arXiv 论文提出 ID Balancing(积分-微分控制器),把 DeepSeek 的 loss-free 方法与 Kimi K3 的 Quantile Balancing 统一为不完备的 PID 控制器,积分项随负载误差缩放、仅在失衡恶化时启用微分项。

来源:AGI Hunt · agihunt.info