微调Qwen追踪每步最优学习率验证warmup价值

2026年10月14日，AGI Hunt 报道，Soufiane Hayou 在 GSM8K 上微调小型 Qwen 模型时，逐步追踪每一步的最优学习率，得到一条具体的曲线，结果显示 warmup 通常是好的实践。他强调，这是贪心的每步最优学习率，而非全局最优调度；后者的计算代价要高出几个数量级。Gautam Goel 转发了这张图，称其对如何选择贪心每步最优学习率很有启发。报道中未给出其他数据集或模型规模的对比结果，也未说明该曲线是否已被用于改进实际训练配方。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。