AGI Hunt· blaizedsouza·· 3 小时前AI 评分47
一张图讲透 12 种 KV cache 优化技术,从滑窗到 MLA 降推理内存
一张图讲透 12 种 KV cache 优化技术,从滑窗到 MLA 降推理内存
AI 导读
akshaypachaar 整理了 12 种优化 LLM 推理的 KV cache 技术,缓解长对话与并发请求导致的显存暴涨。技术按信息的存储、共享、读取或移动方式分类,含 Sliding window 只保留最近 token、Cross-layer sharing 多层复用共享 KV、MLA 缓存紧凑表示。作者另附文章系统讲解 KV caching 原理。
来源:AGI Hunt · agihunt.info