跳到正文
原文
AGI Hunt· clarejtbirch·· 2 小时前AI 评分41

Thinking Machines 推出 Dimuon 优化器:LoRA 微调比 AdamW 更快收敛

AI 导读

Thinking Machines 推出新优化器 Dimuon,作为 Muon 的变体专为 LoRA 微调设计,用户现可在 Tinker 上试用。在 SFT 测试中,它常能以更少步数达到比 AdamW 更低的 loss。团队称仍在持续实验,并征集用户反馈。

来源:AGI Hunt · agihunt.info