别把 Hessian 当二阶导矩阵：特征值是损失面的局部曲率

作者 techNmak 给出理解 Hessian 的几何视角：它描述的是损失面在参数空间某点的局部二阶几何，而非一张二阶导数表格。沿单位方向 u 移动，损失的二阶方向导数为 u^T H u，特征向量满足 vᵢ^T H vᵢ = λᵢ，特征值即该方向的局部曲率。接近零的正特征值意味着方向较平坦，大正特征值意味着急剧弯曲，因此同一学习率在陡峭方向可能过于激进。