Google 研究员：梯度下降让神经元按「意外关联」对齐而非最小干扰

Google 研究员 moultano 提出，神经网络中的神经元倾向于在「有意外关联」的维度上对齐，而不是按「最小干扰」式的哈希式对齐，这符合梯度下降的默认行为。他同时提醒，这种「意外关联」可能极其意外，未必是对人有用或可解释的结构。