Hugging Face Blog·· 2 小时前精选AI 评分61
Allen AI 发布 Olmo-core 3，开源面向大规模 MoE 的训练框架
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
Allen AI 发布 Olmo-core 3，这是其面向万亿参数级 MoE 的开源训练框架升级，训练系统改用 DDP 替代此前的 FSDP 实现。
推荐理由
文中给出专家池从 8 扩到 128 时训练吞吐仅降不到 5% 的实测，可用于判断大 MoE 训练的工程取舍。
来源：Hugging Face Blog · huggingface.co