数据受限预训练实证：合成数据降低真实分布损失，可省 1.8 倍数据

在数据受限预训练中，合成数据不只是刷榜：生成更多 token 时，模型在真实数据分布上的损失也在下降。把合成数据当作连续 megadoc 处理可带来 1.8 倍数据效率，且算力越大收益越高；Andrew Lampinen 引用的 konwookim 工作为这一价值提供了量化证据。