预训练优化研究：有效学习率解释一切，峰值加衰减调度是偏差—方差权衡最优解

预训练优化研究提出统一解释框架：决定优化进展的是有效学习率（η·‖U‖/‖W‖），峰值加衰减的调度形状正是偏差—方差权衡的最优解。Hyperball 将权重及更新的 Frobenius 范数固定为常数，相对 weight decay 基线获得 20–30% token 等效加速。