告别 4000 TPU 月：作者称通用学习型优化器无需天文算力

作者 burkov 论证一个有效且通用的学习型优化器并不需要如此巨大的训练算力，并介绍了其方法与实验结果。此前 SOTA 学习型优化器 VeLO 消耗约 4000 个 TPU 月的算力，仍无法可靠训练超过 6 亿参数的模型。若该结论成立，优化器设计中这一 hand-crafted 环节有望被数据驱动方法取代，从而缩短大模型训练时间、降低训练成本。