权重衰减收缩空间振荡解释Grokking泛化

2026年10月1日，AGI Hunt 发布技术长线程，围绕 Grokking（模型训练损失早已很低、泛化却延迟出现的现象）提出新解释。该长线程指出，Grokking 并非由“平坦极小值”解释：网络在快时间尺度上拟合训练点，样本外泛化则是另一个更慢的物理过程。作者进一步提出，权重衰减会逐渐收缩网络在输入域上的空间振荡，由此完成泛化，并以数学推导展开论证。上述内容出自该长线程的论述本身，为其给出的理论解释与数学推导。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。