神经元可解释性研究警告：训练配方不同，解释结论或不可迁移

研究者 @tomjiralerspong 警告，模型训练配方会显著影响神经元可解释性结论，不宜过度泛化。他称 GPT-2 可能在带 dropout 的条件下训练（现代 LLM 均不带），dropout 会增加冗余、可能加剧多义性但减少叠加，SwiGLU、优化器、weight decay 等选择也可能同样影响结论。现有大量可解释性工作基于较旧或玩具模型。