Kimi K3 用归一化 latentMoE 稳定训练

2026 年 10 月 16 日，AGI Hunt 报道称，Hugging Face 研究员 Elie Bakouch 指出 Kimi K3 采用归一化的 latentMoE 结构来稳定训练，并公开了来自 Muse 代码库的 9 处 Norm 层清单。据该报道，这 9 处 Norm 中有 5 处为可学习参数，做法是 normalize 后乘以 1+w，或先乘再归一化；专家侧则由 256 个专家共享一个 postexpertnorm 模块，宽度在 8192 与 4096 之间切换。这是目前关于该事件的唯一一版公开信息，尚无与之一致的后续报道或其他来源的独立确认。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。