神经网络比单个神经元所显示的更具模块性

一篇 arXiv 论文提出单元级、正交、线性三层嵌套的模块化框架，并通过选择性消融做因果验证：缺乏单元级模块化的神经网络常在子空间层面表现出清晰的功能模块性。在视觉模型、语言模型和多任务 RNN 中，内容与风格、句法与语义等计算在子空间消融下可分离，且内容子空间预测更高的视觉皮层，语义子空间在预测语言皮层活动上优于句法子空间。