ezyang 深度解析：用 Roofline 模型在 Hopper 上训练 DeepSeek-V3

PyTorch 核心开发者 ezyang 发布 DeepSeek-V3 系列第三篇，用 Roofline 分析在 2048 卡 H800 集群上复现 DSv3 训练配置，结论是 FSDP (ZeRO-3) 会打满 InfiniBand 带宽，对 DSv3 是坏选择。