arXiv cs.AI· Suhas Kumar Morisetty, Vaibhavi Lokegaonkar, Sachin Mathew Varghese, Wesley Harris·· 2 小时前AI 评分35
WAKMan：负载感知的 KV cache 管理器
WAKMan: Workload Aware KVCache Manager
AI 导读
WAKMan 是一个负载感知的 KV cache 管理器，无需识别请求类型、也不读取提示词，即可从实时流量中自动选择淘汰策略，相比 LRU 平均提升 5 个百分点的缓存命中率。
来源：arXiv cs.AI · arxiv.org