跳到正文
原文
AGI Hunt· burny_tech·· 4 小时前AI 评分32

从权重范数几何解读 MuonH(Hyperball)优化器原理

从权重范数几何解读 MuonH(Hyperball)优化器原理

AI 导读

miyashita03 发布文章,从权重范数几何解释 MuonH(Hyperball)优化器机制。文章以尺度不变性为出发点:权重乘以任意正常数不改变输出与损失,此时梯度与权重方向垂直。并分析按比例缩放权重对优化动态的影响,为 Muon 类优化器为何有效提供几何直觉。

来源:AGI Hunt · agihunt.info