MuonH 尺度不变性与梯度几何解读

2026年10月27日，AGI Hunt 报道了对 MuonH（Hyperball）有效性的一种解释：从权重范数的几何角度看，当网络具备尺度不变性时，把权重乘以一个正常数不会改变网络输出与损失，因此梯度始终垂直于权重方向。这一视角同时解释了 Muon 类优化器如何与归一化层协作。报道提到，@xuhengli 指出 RMSNorm、LayerNorm 正是通过让网络具备尺度不变性来改变训练动力学，其团队正在研究归一化层、MuP、Adam、Muon 等尺度控制方法之间如何协同。报道未给出新的实验结果或量化数据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。