跳到正文
原文
AGI Hunt· teortaxesTex·· 3 小时前AI 评分45

NVIDIA Vera Rubin 训练 10T 模型只需 1.6 万卡,较 GB200 省 75% GPU

NVIDIA Vera Rubin 训 10T 模型只需 1.6 万卡,较 GB200 省 75% GPU

AI 导读

NVIDIA Vera Rubin NVL72 训练大型 MoE 模型时,GPU 用量可比 Grace Blackwell 减少约 75%。在一个月内用 100T token 训练 10 万亿参数模型的情况下,约需 1.6 万块 Rubin GPU,而用 GB200 则需 6.4 万块。转发者认为该配置本身有些浪费、Vera Rubin 也会更贵,但效率跃升将大幅加速 AI 发展。

来源:AGI Hunt · agihunt.info