开发者用 INT8 权重、FP8 解码与 RAM 分级缓存，让单张 RTX 4090 跑大模型和视频生成

开发者分享了在单张 RTX 4090 上运行大模型推理与视频生成模型的显存优化实践：权重与 KV cache 采用 INT8 量化，解码器使用 FP8。各模块只在对应计算阶段才分阶段加载到 GPU，GPU 上仅保留最少数据，其余借由 RAM 分级缓存。该方案可显著降低显存占用，使消费级单卡承载原本需要更大显存的大模型和视频生成任务。