跳到正文
热点事件持续更新

Ai2 开源 Olmo-core 3:面向万亿参数 MoE 训练框架

3 篇报道2 个报道来源2 小时前更新

先了解这件事

AI 综述

2026 年 10 月 1 日,Allen Institute for AI(Ai2)发布并开源 Olmo-core 3,定位为支撑下一代 OLMo 模型的核心训练系统,专为大规模 MoE(混合专家)模型训练重新设计,目标是把 MoE 训练扩展到万亿参数级别并保持计算效率。据同期报道,该框架把专家池从 8 个扩展到 128 个,每个 token 仍只选择 4 个专家、活跃参数约 3.2B,总参数容量从 4.6B 增至 47B,训练吞吐下降不到 5%。当晚 Hugging Face Blog 的发布信息补充称,该训练系统改用 DDP,替代此前的 FSDP 实现。目前各报道口径一致,未披露进一步评测结果或后续模型的发布时间表。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月1日
  1. AGI Hunt
    Ai2 发布 Olmo-core 3:开源 MoE 训练框架,专家扩至 128 个吞吐仅降 5%

    Ai2 发布 Olmo-core 3,一套重新设计的开源 MoE 训练系统,目标把 MoE 训练扩展到万亿参数级并保持计算效率。专家池从 8 扩到 128,每 token 仍只选 4 个专家、活跃参数约 3.2B,总参数容量从 4.6B 增至 47B,训练吞吐下降不到 5%。

  2. AGI Hunt
    Ai2 开源 Olmo-core 3:支撑下一代 OLMo 冲击万亿参数的 MoE 训练底座

    Allen Institute for AI(Ai2)发布并开源 Olmo-core 3,作为支撑下一代 OLMo 模型的核心训练系统,目标扩展到万亿参数级别,专为大规模 MoE(混合专家)模型训练设计。

  3. Hugging Face Blog精选
    Allen AI 发布 Olmo-core 3,开源面向大规模 MoE 的训练框架

    Allen AI 发布 Olmo-core 3,这是其面向万亿参数级 MoE 的开源训练框架升级,训练系统改用 DDP 替代此前的 FSDP 实现。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。