arXiv 论文《Scaling Repeated-Data Pretraining》：重复数据预训练中小批次反而更省 GPU 时

UC Berkeley 与 Allen AI 的 Sewon Min 等人在 arXiv 论文《Scaling Repeated-Data Pretraining》中发现，在算力充裕但独特数据有限、需重复使用同一份数据预训练的场景下，小批次自带正则化效果，反而更省 GPU 时，GPU 更多并不一定带来更低的验证损失。该结论挑战了同时优化批次大小等多个常见做法，为数据受限场景提供了新的训练策略参考。