跳到正文
原文
AGI Hunt· SergioPaniego·· 3 小时前AI 评分27

首届 PyTorch 马德里 meetup 聚焦开源推理栈:vLLM、llm-d 与 K8s GPU 编排

AI 导读

首届 PyTorch Madrid meetup 举行,首场演讲聚焦 vLLM、llm-d 与 Kubernetes 上的 GPU 编排等开源 AI 推理栈。llm-d 是 Kubernetes 原生的开源分布式 LLM 推理项目,在 vLLM 之上按 prefill GPU 与 decode GPU 自动扩缩,并由感知推理拓扑的 Inference Gateway 路由请求。

来源:AGI Hunt · agihunt.info