研究：神经网络仅 2-4 次 SGD 更新即出现权重签名，权重已偏移约 8%

神经网络的权重签名在仅 2 到 4 次 SGD 更新后即出现，此时权重已偏移约 8%，该观察来自一项关于权重置换对称性的研究。Git Re-Basin 的对齐效果优于作者 2019 年的方法。局限在于仅测试单隐藏层、三个相似数据集，且未展示吸引子。