微调 Qwen 实测追踪每步最优学习率，揭示 warmup 的价值

在 GSM8K 上微调小型 Qwen 模型时，Soufiane Hayou 逐步追踪每步最优学习率，得到一条具体曲线，显示 warmup 通常是好的实践。他强调这是贪心的每步最优学习率，而非全局最优调度，后者的计算代价要高出几个数量级。Gautam Goel 转发称该图对如何选择贪心每步最优 lr 很有启发。