AirLLM：不量化、不裁剪，4GB 显存跑 70B 大模型

AirLLM 是一个 Python 库，可让 70B 参数语言模型在单张 4GB 显存 GPU 上运行，且不需要量化、蒸馏或剪枝。它在推理时先把原始模型按层拆分保存，避免整个模型同时驻留显存；对支持的 MoE 模型只流式加载 router 选中的 expert，因为每个 token 通常只用其中一部分专家。