跳到正文
原文
AGI Hunt· scaling01·· 5 小时前AI 评分48

微软 MAI-Base-2 用 1.6 万块 GB200 训练 38 天,MFU 仅 21%

AI 导读

微软 MAI-Base-2 在 1.6 万块 GB200 GPU 上训练 38 天,平均 MFU 仅 21%,goodput 达 89%。该模型为 2.8T 参数 MoE,MFU 按 GB200 BF16 理论峰值 2.5 PFLOPS 归一化,不含重计算和优化器开销。

来源:AGI Hunt · agihunt.info