跳到正文
原文
AGI Hunt· AllThingsApx·· 22 小时前AI 评分28

NVIDIA BioNeMo 优化 MoE 训练,Mixtral 吞吐提升 2.21 倍

AI 导读

NVIDIA BioNeMo 团队为 MoE 类稀疏模型推出 GPU 执行优化方案,在 8 张 B200 GPU 上把 Mixtral-8x7B 训练吞吐最高提升 2.21 倍。对比基线为 Hugging Face BF16,方案旨在加速生物基础模型的高效训练。

来源:AGI Hunt · agihunt.info