AGI Hunt· PyTorch·· 2 小时前AI 评分34
DeepSpeed 公布 AutoEP/AutoTP 等并行化进展,并将举办线上答疑
DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑
AI 导读
DeepSpeed 团队在 PyTorch Conference 上公布了 AutoEP(专家并行)、AutoTP(张量并行)、AutoSP(序列并行)及基于 Ray 的流水线并行等进展。基准测试显示,DeepSpeed 在所测工作负载上持平或优于其他 SOTA 框架。团队将于 10 月 27 日举办线上 office hours,讲解这些特性与基准结果并讨论 Q4 路线图。
来源:AGI Hunt · agihunt.info