vLLM 推送式 KV 迁移：首 token 时间缩短约 3 倍，单 token 输出提速 30%

vLLM 在分离式推理中采用推送式 KV 迁移，将 KV 传输协调移出关键路径，使首 token 时间（TTFT）缩短约 3 倍，单 token 输出时间（TPOT）最多改善 30%。该设计面向 prefill/decode 分离式服务，正文涵盖 KV 传输协调的实现细节。