Dwarkesh Patel 实验显示预训练进展主要来自数据改进

Dwarkesh Patel 用 2019 至 2025 年逐年代表性的模型配方与公开数据语料组合做小规模预训练实验，发现在 1e19 FLOPs 算力预算下，数据改进带来 12.0x 算力效率提升，模型改进为 3.7x，前者是后者的 3.24x。