跳到正文
原文
AGI Hunt· dl_weekly·· 2 小时前AI 评分54

Google 联合 Red Hat、IBM 发布 llm-d 1.0,千级 Agent 实测分布式推理

Google 联合 Red Hat/IBM 发布 llm-d 1.0,千级 Agent 实测分布式推理

AI 导读

Google 在 PyTorch Conference 上发布 llm-d 1.0,这是一个开源、Kubernetes 原生的分布式 LLM 推理服务栈,由 Google 与 Red Hat、IBM 等共同发起,属 CNCF Sandbox 项目,汇聚 25 个组织、500 多名贡献者。

来源:AGI Hunt · agihunt.info