最大规模研究证实合成预预训练扩展至 7B 仍有效

合成预预训练（PPT）扩展至 7B 模型仍能节省约 210 亿 token 并保持下游性能，这是迄今最大规模的同类研究。研究覆盖 500M 至 7B 参数、最高 100B token 预算和 5 种 PPT 任务。结果推翻原有解释：收益并非来自语法先验，而是长程检索能力的提升。