开源推理项目 llm-d 将在 PyTorch 大会公布扩展新进展

IBM Research 杰出工程师、llm-d 项目联合创始人 Carlos Costa 将于 10 月 20-21 日在圣何塞举办的 PyTorch Conference North America 上公布 llm-d 的新消息。成立一年多来，llm-d 在开源生成式推理服务上性能达到 SOTA，并支持多租户 QoS、零停机运维等"第二天运营"能力，且不牺牲生产性能。