Sewon Min 新研究：重复数据预训练中小批次自带正则化，GPU 多未必 loss 低

UC Berkeley 与 Allen AI 的 Sewon Min 研究数据受限时的重复数据预训练，发现验证损失与 batch size 呈 U 形关系，最优 batch 比常规预训练更小，小批次梯度噪声相当于隐式正则化。