权重只是四分之一：详解 LLM 推理显存占用来源

2026年10月13日，AGI Hunt 发布文章《权重只是四分之一：详解 LLM 推理为何照样爆显存》，指出模型加载成功并不代表就能正常推理：首个请求到来时，仍可能耗尽 GPU 显存。文章称，模型权重只是四类显存分配之一。按文中数据，70B 模型在 FP16/BF16 精度下约需 140 GB 显存，INT8 约 70 GB，INT4 约 35 GB；此外，即使做了量化，部分算子内核仍会以更高精度运行，因而继续占用显存。目前该话题的公开报道仅此一篇，内容为对 LLM 推理显存占用来源的解释性梳理。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。