AGI Hunt· dl_weekly·· 2 小时前AI 评分54
Google 联合 Red Hat、IBM 发布 llm-d 1.0,千级 Agent 实测分布式推理
Google 联合 Red Hat/IBM 发布 llm-d 1.0,千级 Agent 实测分布式推理
AI 导读
Google 在 PyTorch Conference 上发布 llm-d 1.0,这是一个开源、Kubernetes 原生的分布式 LLM 推理服务栈,由 Google 与 Red Hat、IBM 等共同发起,属 CNCF Sandbox 项目,汇聚 25 个组织、500 多名贡献者。
来源:AGI Hunt · agihunt.info