用 vLLM 承载 Agent 流量：长前缀缓存命中决定推理成本

Inferact 的 Yifan Qiao 将在 DigitalOcean Open Intelligence Summit 分享生产环境用 vLLM 承载 agentic 工作负载的实践：Agent 流量每轮重发长而几乎相同的前缀（system prompt、工具 schema、历史对话），只换回一个短的工具调用。