斯坦福 Marin 535B MoE 开源模型训练过半

2026年10月7日，斯坦福的 Percy Liang 宣布，Marin 项目的开源模型训练已过半程。该模型采用混合专家（MoE）架构，总参数 535B、激活参数 23B。团队同步发布了训练过程中的观察与经验教训，详细内容见其博客，对关注开源大模型训练实践的人有参考价值。报道未披露具体训练数据量、算力规模或完成时间表等信息。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。