热点事件持续更新
RTX 4090 单卡 INT8＋FP8＋RAM 分级缓存
2 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
2026 年 10 月 25 日，AGI Hunt 报道了一套在单张 RTX 4090 上运行大模型推理的配置方案：权重与 KV cache 采用 INT8 量化，解码器使用 FP8，各模块只在自身参与计算时才移入 GPU；显存管理上 GPU 上仅保留 18 帧 latent 历史帧，其余帧归档到系统内存，形成显存与内存之间的分级缓存。作者提出预算应花在内存上而不只是显存上，并指出模型卡的 Model Assets 一节有 INT8/LoRA 说明可通读。同日另一篇报道把适用范围扩展到大模型推理与视频生成，称该做法可显著降低显存占用，使消费级单卡能承载原本需要更大显存的任务。两篇报道均未给出吞吐、延迟或对比基线等量化数据，目前也未见独立复现结果。
AI 根据报道生成 · 46 分钟前更新
最新进展10月25日 16:12
同日报道把该方案从大模型推理扩展到大模型推理与视频生成，并称可显著降低显存占用。报道时间线
沿着报道，了解事件的不同侧面。
10月25日
- AGI HuntRTX 4090 单卡推理方案：INT8 权重、FP8 解码与 RAM 分级缓存
一套在 RTX 4090 单卡上运行大模型推理的配置方案：权重和 KV cache 用 INT8，解码器用 FP8，各模块仅在其计算阶段才移入 GPU。GPU 上只保留 18 帧 latent 历史帧，其余归档到系统内存。作者称预算应花在内存上而不只是显存，并指出模型卡的 Model Assets 一节有 INT8/LoRA 说明可通读。
- AGI Hunt开发者用 INT8 权重、FP8 解码与 RAM 分级缓存，让单张 RTX 4090 跑大模型和视频生成
开发者分享了在单张 RTX 4090 上运行大模型推理与视频生成模型的显存优化实践：权重与 KV cache 采用 INT8 量化，解码器使用 FP8。各模块只在对应计算阶段才分阶段加载到 GPU，GPU 上仅保留最少数据，其余借由 RAM 分级缓存。该方案可显著降低显存占用，使消费级单卡承载原本需要更大显存的大模型和视频生成任务。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。