AWS Machine Learning Blog· Ananth Raghavendra·· 4 小时前AI 评分38
使用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理负载
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 导读
Ray LLM Deep Learning Container 可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署，以 prefill/decode 分离方式共用一个 OpenAI 兼容端点。
来源：AWS Machine Learning Blog · aws.amazon.com