跳到正文
原文
AGI Hunt· PyTorch·· 2 小时前AI 评分34

DeepSpeed 公布 AutoEP/AutoTP 等并行化进展,并将举办线上答疑

DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑

AI 导读

DeepSpeed 团队在 PyTorch Conference 上公布了 AutoEP(专家并行)、AutoTP(张量并行)、AutoSP(序列并行)及基于 Ray 的流水线并行等进展。基准测试显示,DeepSpeed 在所测工作负载上持平或优于其他 SOTA 框架。团队将于 10 月 27 日举办线上 office hours,讲解这些特性与基准结果并讨论 Q4 路线图。

来源:AGI Hunt · agihunt.info