研究者指出 Transformer 内部状态多次被压缩，K/V 缓存并非完整记忆

研究者指出，Transformer 每轮前向传播中算出的内部状态有相当一部分不会存入 K/V 缓存，而是在整个 forward pass 中被多次丢弃或压缩。这挑战了「K/V 缓存等于模型记忆」的常见直觉，暗示模型每步推理中的大量中间计算不可恢复。