研究员 menhguin 分享用 auto-research 做 LLM 预训练的实操经验

研究员 menhguin 分享了用 auto-research 做 LLM 预训练的实操经验，指出堆叠组合多项改动是预训练实验中的最大杀手。他回应了 iaindunning 关于「让训练更快」效果好而「改进前沿训练」远不达预期的观察。若要设计「改进前沿训练」这类任务，关键在于尽可能详细地描述期望的目标状态、作用机制和评估指标，以防止模型出现模式坍缩。