ReLU 革命揭示了什么：生物合理性在神经网络设计中的分量

ReLU 在 2010 年代初取代 sigmoid：sigmoid 的导数峰值仅 0.25，逐层相乘导致梯度消失，而 ReLU 对正输入的导数恒为 1，梯度能基本完整地回传到最浅层。无界、分段线性的 ReLU 与更早以真实神经元为原型的生物取向相去甚远。这段历史也让生物合理性在设计中的实际分量成为问题。