论文《Generalization Dynamics of LM Pre-Training》揭示 LLM 预训练推理能力不稳定，在浅层启发式与泛化计算间反复跳跃

论文《Generalization Dynamics of LM Pre-Training》发现，LLM 预训练中推理能力并不稳定，会在浅层模式匹配启发式与可泛化计算间反复、突然跳跃。即使预训练损失和下游能力曲线看似平稳，表面指标稳定也不代表内部计算方式已收敛为泛化解。论文还区分频繁震荡型、持续震荡型、稀疏尖峰型三种泛化动力学类型，并对比大模型与小模型、标注 Chinchilla 最优训练点。