物理学家旧论文重现：涨散定理可直接推出大学习率 SGD 噪声理论

Liu Ziyin 转发自己 2020 年的论文，认为近期 edge-of-stability 研究可从理论物理中获益。论文用涨落-耗散定理推导出非消失学习率区间 SGD 中学习率、Hessian 与梯度噪声的直接联系，指出离散时间动力学产生的噪声呈畸变形状、远大于连续时间理论的预测。该论文发表于 ICML 2021（arXiv:2012.03636）。