贾皓钧拆解数千张 GPU 如何用 5D 并行协同训练大模型

ICML 2025 最佳论文荣誉奖得主贾皓钧发布讲解长文，系统拆解数千张 GPU 训练大模型所需的 5D 并行方案。他指出单靠数据并行不足以让数千张 GPU 高效协同，需沿数据、张量、上下文、流水线和专家五个维度切分工作负载。