AGI Hunt· burny_tech·· 4 小时前AI 评分32
从权重范数几何解读 MuonH(Hyperball)优化器原理
从权重范数几何解读 MuonH(Hyperball)优化器原理
AI 导读
miyashita03 发布文章,从权重范数几何解释 MuonH(Hyperball)优化器机制。文章以尺度不变性为出发点:权重乘以任意正常数不改变输出与损失,此时梯度与权重方向垂直。并分析按比例缩放权重对优化动态的影响,为 Muon 类优化器为何有效提供几何直觉。
来源:AGI Hunt · agihunt.info