跳到正文
热点事件持续更新

ezyang 用 Roofline 分析 DeepSeek-V3 训练配置

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

PyTorch 核心开发者 ezyang 就 DeepSeek-V3 训练配置发布系列分析文章。2026 年 10 月 3 日的第三篇中,他用 Roofline 模型,在 2048 卡 H800 集群上复现 DeepSeek-V3 的训练配置并做性能分析,结论是 FSDP(ZeRO-3)会把 InfiniBand 带宽打满,对 DSv3 而言是坏选择。该系列目前已更新至第三篇,讨论集中在 H800 集群上复现 DSv3 训练配置时的并行策略取舍。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月3日
  1. AGI Hunt
    ezyang 深度解析:用 Roofline 模型在 Hopper 上训练 DeepSeek-V3

    PyTorch 核心开发者 ezyang 发布 DeepSeek-V3 系列第三篇,用 Roofline 分析在 2048 卡 H800 集群上复现 DSv3 训练配置,结论是 FSDP (ZeRO-3) 会打满 InfiniBand 带宽,对 DSv3 是坏选择。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。