AGI Hunt· scaling01·· 5 小时前AI 评分49
曝微软 MAI-Base-2:2.8T 参数 MoE,用 1.6 万张 GB200 训练 38 天
曝微软 MAI-Base-2 用 1.6 万张 GB200 训练 38 天,2.8T 参数 MoE
AI 导读
流传的配置表显示,微软 MAI-Base-2 为 2.8T 总参数、80B 激活的 MoE,训练 50T tokens,原生多模态,据称用 1.6 万张 GB200 训练 38 天。上一代 MAI-Base-1 为 35B/1T、30T tokens、纯文本。scaling01 称预训练前沿模型并不需要很长时间。
来源:AGI Hunt · agihunt.info