AWS Machine Learning Blog· Mona Mona·· 4 小时前AI 评分52
Amazon SageMaker AI 的 MoE kernel 优化，吞吐最高提升 10%
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AI 导读
AWS 为 Amazon SageMaker AI 上的 fused MoE 模型实现多项 kernel 优化，最高提升 10% 吞吐、TTFT 加快最高 9%。
来源：AWS Machine Learning Blog · aws.amazon.com