跳到正文
原文
AGI Hunt· TinfoilTricorn·· 6 小时前AI 评分22

从偏导数到梯度下降:曲面陡峭度为何随方向变化

从偏导数到梯度下降:曲面陡峭度为何随方向变化

AI 导读

对 z=f(x,y) 曲面,∂f/∂x 表示固定 y、只让 x 变化时的变化率,∂f/∂y 则相反;二者分别对应曲面上蓝线与红线的斜率,解释了曲面陡峭程度为何取决于行走方向。作者进一步联系机器学习:反向传播就是对每个权重在其余权重固定时求损失函数的偏导,梯度下降的每一步都建立在这些偏导数之上。

来源:AGI Hunt · agihunt.info