AirLLM 以分层流式加载让 70B 模型跑进 4GB 显存

AirLLM 是一个开源的大模型推理项目，核心思路是分层流式加载：将模型参数按层依次调入显存，从而在显存受限的设备上运行超大模型。2026 年 10 月 3 日，AGI Hunt 报道称该项目已获得 35K star，并且无需量化、蒸馏或剪枝，就能在单张 4GB GPU 上运行 70B 大模型。报道未披露具体的推理速度、延迟、显存占用曲线或所支持的模型清单等细节，也未提及版本更新情况。目前该事件的最新公开进展，即为这次报道所给出的项目热度与“4GB 显存跑 70B 模型”的能力描述。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。