7B 模型显存速算：FP16 约 14GB，INT4 仅 3.5GB

判断模型能否塞进 GPU，可按“权重显存≈参数量×位数/8”速算：7B 模型 FP16 约 14GB、INT8 约 7GB、INT4 约 3.5GB。但权重之外还有 KV cache、激活值和运行时开销，取决于上下文长度与 batch size。模型塞得进显存不等于能流畅运行，需留出余量。