解释 Hessian 是损失面的局部曲率而非二阶导矩阵

2026 年 10 月 5 日，AGI Hunt 刊出作者 techNmak 的文章，提出理解 Hessian 的几何视角：它是损失面在参数空间某点的局部二阶几何，而不是一张二阶导数表格。文章指出，沿单位方向 u 移动时，损失的二阶方向导数为 u^T H u；特征向量满足 vᵢ^T H vᵢ = λᵢ，特征值即该方向上的局部曲率。据此，接近零的正特征值意味着该方向较平坦，大正特征值意味着急剧弯曲。作者由此说明，同一学习率在陡峭方向上可能过于激进，这一视角有助于解释优化过程中的学习率选择问题。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。