AGI Hunt· burny_tech·· 3 小时前AI 评分27
Bengio 团队 2014 论文:高维非凸优化难在鞍点而非局部极小
高维非凸优化难在鞍点而非局部极小
AI 导读
Yann Dauphin、Yoshua Bengio 等人 2014 年的经典论文指出,高维非凸地形中大多数临界点是鞍点而非局部极小,且维度越高临界点越倾向于成为鞍点。该结论适用于 LLM 训练等深度学习系统,说明训练真正的难点在于穿越并逃离鞍点,而非陷入局部极小。
来源:AGI Hunt · agihunt.info