新论文 Gandalf：KV cache 卸载 SSD 会让闪存寿命从数年缩至数月，按注意力类型分级可延寿 7.3 倍

Gandalf 论文提出首个 SSD 寿命感知的 KV cache 卸载系统，按注意力类型优先将全注意力 KV cache 写入 SSD，使 SSD 寿命平均延长 7.3 倍。该研究针对本地 LLM 推理中多轮对话和 AI 智能体负载导致 KV cache 写入量超过 SSD 额定写入量、寿命从数年缩至数月的问题，并称命中率几乎不受影响。