跳到正文
原文
AGI Hunt· burny_tech·· 3 小时前AI 评分32

Grokking 不是魔法:权重衰减压缩空间振荡才是泛化关键

AI 导读

技术长线程指出,Grokking 并非由“平坦极小值”解释:网络在快时间尺度上拟合训练点,样本外泛化则是另一个更慢的物理过程。作者提出,权重衰减会逐渐收缩网络在输入域上的空间振荡,从而完成泛化,并以数学推导展开论证。

来源:AGI Hunt · agihunt.info