Jon Barron 用一个两层小网络手推反向传播与梯度更新全过程

Jon Barron 用一个 1 输入、2 个 ReLU 隐藏单元、线性输出的极小网络演示反向传播：前向传播得到预测与损失 0.5，再沿计算图用链式法则反向求出四个权重的梯度，并用普通 SGD 同步更新。更新后再次前向，预测变为 -0.49、损失降至 0.12005。作者强调反向传播只负责算梯度，SGD 才真正改权重，且任意学习率并不保证每步降损，大网络的计算逻辑与此完全相同。