Ai2 发布 Olmo-core 3：开源 MoE 训练框架，专家扩至 128 个吞吐仅降 5%

Ai2 发布 Olmo-core 3，一套重新设计的开源 MoE 训练系统，目标把 MoE 训练扩展到万亿参数级并保持计算效率。专家池从 8 扩到 128，每 token 仍只选 4 个专家、活跃参数约 3.2B，总参数容量从 4.6B 增至 47B，训练吞吐下降不到 5%。