热点事件持续更新
456GB 大模型在 192GB 显存混合 offload 跑通
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
2026 年 10 月 12 日，AGI Hunt 报道，有作者在一套显存 192GB、内存 256GB 并配备 NVMe 的机器上，以混合 offload 的方式离线跑通了参数量达 456GB 的大模型。报道给出的实测结果：C1 解码速度为 60.1 tok/s，C4 聚合解码速度为 124.8 tok/s。该事件的关键点在于模型规模（456GB）远超单机显存容量（192GB），借助混合 offload——将部分权重卸载到内存与 NVMe 存储——实现推理跑通，并同时给出了单并发与 4 并发下的解码吞吐数据。截至这条报道，事件进展为一次实测跑通及其速度数据的公布，报道中未提及更多后续细节。
AI 根据报道生成 · 5 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- AGI Hunt456GB 大模型塞进 192GB 显存：混合 offload 推理实测跑通
作者在 192GB 显存 + 256GB 内存 + NVMe 的配置上以混合 offload 离线跑通 456GB 参数大模型，C1 解码 60.1 tok/s、C4 聚合解码 124.8 tok/s。
本事件热度走势
当前热度 9·可比范围峰值 10（10月12日 07:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。