跳到正文
原文
AGI Hunt· blaizedsouza·· 3 小时前AI 评分47

一张图讲透 12 种 KV cache 优化技术,从滑窗到 MLA 降推理内存

一张图讲透 12 种 KV cache 优化技术,从滑窗到 MLA 降推理内存

AI 导读

akshaypachaar 整理了 12 种优化 LLM 推理的 KV cache 技术,缓解长对话与并发请求导致的显存暴涨。技术按信息的存储、共享、读取或移动方式分类,含 Sliding window 只保留最近 token、Cross-layer sharing 多层复用共享 KV、MLA 缓存紧凑表示。作者另附文章系统讲解 KV caching 原理。

来源:AGI Hunt · agihunt.info