前 OpenAI 研究员：低质量预训练栈催生「深层无用」错误结论

前 OpenAI 研究员 aidanclark 举例指出，曾有大量研究声称 Transformer 后面几层基本无用，但在良好的预训练技术栈上这一「事实」并不成立。这说明可解释性研究的机制性结论高度依赖底层训练配置，在不同预训练质量下可能互相矛盾，引用时需谨慎。