实测 LLM 推理阶段分离：KV 缓存跨 GPU 搬运未必划算

实测表明，LLM 推理阶段分离并非天然更优，收益高度依赖 KV cache 传输方式与能耗开销。实验以双 GPU 各处理一半请求为基线，对比高速 GPU 互联、PCIe、磁盘三种 KV cache 搬运方式，在单机双 NVIDIA A100 上用两个语言模型和不同 batch size 的合成负载测试，并把传输开销与能耗成本计入评估。