NielsRogge：vLLM 生产栈在 K8s 上跑推理没问题，但 agent 沙箱由 Modal 用另一套方案扩展到超 100 万并发

NielsRogge 回应「Kubernetes 是否适合跑 AI 推理与 agent 负载」：推理侧 vLLM 的 production-stack 是 K8s 原生分布式部署方案，不改应用代码即可从单实例扩展到分布式，并带 KV cache 感知、prefix 感知路由与分离式 prefill。