可解释性对比发现：“AI 研究员神经元”只在后训练后才出现

可解释性对比图显示，“AI researcher”神经元在 Base 模型中为 0/8，而第 21 层 1180 号“mother”神经元在 Chat 模型为 5/8、Base 模型为 4/8。作者据此调侃该“AI 研究员”神经元是后训练才出现的新产物。这侧面说明 RLHF/后训练不仅改变行为，也在网络中催生全新概念表征。