权重只是四分之一：详解 LLM 推理为何照样爆显存

模型加载成功不代表能推理，首个请求到来时仍可能耗尽 GPU 显存：模型权重只是四类显存分配之一，70B 模型在 FP16/BF16 约需 140 GB，INT8 约 70 GB，INT4 约 35 GB，量化后部分算子内核仍用更高精度。