热点事件持续更新

Marin 535B MoE 训练达 27% MFU 复盘

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月3日，AGI Hunt 报道，Marin 团队复盘其 535B 参数 MoE 的 hero run：该训练在 11 台 NVL72 机架上进行，达到约 27% MFU。团队称，采用专家并行（EP）后，模型总参数从原计划的 360B 扩大约 50% 至 535B，每 token 激活约 23B 参数。报道还提到，在使用自研 fixed-capacity EP kernel 时 MFU 为 21.5%，token-expert 分配丢弃率为 3.4%。这是该事件目前已知的最新信息，报道未解释整体约 27% 的 MFU 与自研 kernel 下 21.5% 之间的差异来源。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

10月3日

00:01
AGI Hunt
Marin 535B MoE 训练跑出 27% MFU，专家并行方案全复盘
Marin 团队复盘其 535B 参数 MoE hero run 如何在 11 台 NVL72 机架上跑到约 27% MFU。专家并行（EP）让总参数从原计划 360B 扩大约 50% 至 535B，每 token 激活约 23B；自研 fixed-capacity EP kernel 下 MFU 21.5%，token-expert 分配丢弃率 3.4%。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。