斯坦福 Marin 开源项目 535B MoE 模型预训练进度超 80%

斯坦福 Percy Liang 与 David Hall 主导的完全开放科学项目 Marin 宣布，其 535B 总参数、23B 激活的 MoE 模型预训练进度已超过 80%。训练全程在公开环境下进行，团队同时放出了训练 loss 与自家 scaling-law 数据。模型从 4K 到 16K 的上下文切换过程中出现损失骤降现象。