AGI Hunt· scaling01·· 5 小时前AI 评分48
微软 MAI-Base-2 用 1.6 万块 GB200 训练 38 天,MFU 仅 21%
AI 导读
微软 MAI-Base-2 在 1.6 万块 GB200 GPU 上训练 38 天,平均 MFU 仅 21%,goodput 达 89%。该模型为 2.8T 参数 MoE,MFU 按 GB200 BF16 理论峰值 2.5 PFLOPS 归一化,不含重计算和优化器开销。
来源:AGI Hunt · agihunt.info