AGI Hunt· ChengleiSi·· 4 小时前AI 评分44
Princeton/Stanford 研究:最优优化器随 batch size 变化,排名可反转
Princeton/Stanford 研究:最优优化器随 batch size 变化,排名可反转
AI 导读
Princeton、Stanford 与 UCSD 研究者发表论文《The Best Optimizer Depends on Batch Size》,指出超参 scaling 规则并不通用,最优优化器排名依赖目标 batch size,即使充分重调超参也可能反转。
来源:AGI Hunt · agihunt.info