arXiv cs.CL· Taiga Ikeda, Daisuke Miyashita, Jun Deguchi·2026-10-12 12:00· 3 小时前AI 评分39

KV-Repurpose：评估非前缀 KV-Cache 复用的测试平台

KV-Repurpose: A Testbed for Evaluating Non-Prefix KV-Cache Reuse

AI 导读

KV-Repurpose 是基于 vLLM 的开源系统，用于评估精确前缀之外的按段 KV-cache 复用。在 20% 请求共享固定前缀的 Zipfian RAG 负载下，30 GB 缓存时 token 级命中率为 63.9%，前缀缓存仅 3.3%，TTFT 更低。长上下文基准显示，段复用基本保持单文档问答与摘要质量，跨文档推理明显受限。

来源：arXiv cs.CL · arxiv.org

#论文/研究 #部署/工程 #RAG #开源生态