RTX 4090 单卡推理方案：INT8 权重、FP8 解码与 RAM 分级缓存

一套在 RTX 4090 单卡上运行大模型推理的配置方案：权重和 KV cache 用 INT8，解码器用 FP8，各模块仅在其计算阶段才移入 GPU。GPU 上只保留 18 帧 latent 历史帧，其余归档到系统内存。作者称预算应花在内存上而不只是显存，并指出模型卡的 Model Assets 一节有 INT8/LoRA 说明可通读。