重复数据预训练：小批次自带正则化更省算力
先了解这件事
该研究由 UC Berkeley 与 Allen AI 的 Sewon Min 等人主导，聚焦算力充裕但独特数据有限、需重复使用同一份数据做预训练的场景。2026 年 10 月 14 日的报道称，研究发现验证损失与 batch size 呈 U 形关系：批大小过大或过小都不利，因此最优 batch 比常规预训练更小；研究认为小批次带来的梯度噪声相当于一种隐式正则化，并提示 GPU 多未必 loss 低。10 月 15 日的后续报道进一步披露，该成果以 arXiv 论文《Scaling Repeated-Data Pretraining》形式公开，指出在重复数据预训练中小批次自带正则化效果，反而更省 GPU 时，GPU 更多并不一定带来更低的验证损失；该结论挑战了同时优化批次大小等多个常见做法，为数据受限场景提供新的训练策略参考。目前该成果已对外发布并引发讨论，后续进展尚待披露。
AI 根据报道生成 · 8 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
- AGI HuntarXiv 论文《Scaling Repeated-Data Pretraining》：重复数据预训练中小批次反而更省 GPU 时
UC Berkeley 与 Allen AI 的 Sewon Min 等人在 arXiv 论文《Scaling Repeated-Data Pretraining》中发现，在算力充裕但独特数据有限、需重复使用同一份数据预训练的场景下，小批次自带正则化效果，反而更省 GPU 时，GPU 更多并不一定带来更低的验证损失。该结论挑战了同时优化批次大小等多个常见做法，为数据受限场景提供了新的训练策略参考。
- AGI HuntSewon Min 新研究：重复数据预训练中小批次自带正则化，GPU 多未必 loss 低
UC Berkeley 与 Allen AI 的 Sewon Min 研究数据受限时的重复数据预训练，发现验证损失与 batch size 呈 U 形关系，最优 batch 比常规预训练更小，小批次梯度噪声相当于隐式正则化。
本事件热度走势
当前热度 9·可比范围峰值 10（10月14日 22:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。