作者论证通用学习型优化器无需巨大算力

2026 年 10 月 13 日，AGI Hunt 报道称，作者 burkov 论证一个有效且通用的学习型优化器并不需要如此巨大的训练算力，并介绍了其方法与实验结果。报道提到，此前 SOTA 的学习型优化器 VeLO 消耗约 4000 个 TPU 月的算力，仍无法可靠训练超过 6 亿参数的模型。报道认为，若该结论成立，优化器设计中这一 hand-crafted 环节有望被数据驱动方法取代，从而缩短大模型训练时间、降低训练成本。目前报道仅给出该论证与实验结果的概述，未披露更多具体数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。