如果大模型推理被显存卡住，也许不是硬件不够，而是方法不对。
读完本文你将了解：AirLLM 的核心原理 | 安装与使用 | 支持的模型 | 与 vLLM/TensorRT-LLM 的对比

这个项目解决什么问题？

70B 参数的大模型需要多少显存？
按照常规计算，70B 模型在 FP16 下大约需要 140GB 显存。即使 4-bit 量化，也需要 35GB 以上。这意味着你至少需要 4 张 A100 80GB 才能跑起来。
AirLLM 给出的答案是：一张 4GB 显存的消费级显卡就够了，而且不需要量化、蒸馏或剪枝。
这个项目的核心洞见是：大模型的层间计算是高度时间解耦的。你不需要在推理时把整个模型加载到显存里——你可以一层一层地加载，算完一层再加载下一层。就像读一本书，不需要把整本书都摊在桌上。
AirLLM 在 GitHub 上积累了 29K+ stars，最近又因为支持了 Kimi K3（2.8T 参数）在单卡 3.72GB 显存下运行而引发关注。

核心亮点

分层推理（Layer-wise Streaming）

AirLLM 把模型加载拆成了两个阶段：

1. 加载阶段：只把当前需要计算的层加载到显存
2. 推理阶段：一层一层地计算，计算完成后释放显存，加载下一层
   这个思路的本质是用时间换空间。相比传统方案一次性加载整个模型，AirLLM 的显存占用峰值大约是常规方案的 1/10 到 1/20。

压缩技术（3x 加速）

AirLLM 的第二代引入了 prefetching（预取）机制：在当前层计算的同时，预先将下一层的数据加载到显存。这样计算和 IO 可以并行，理论上有 10% 的性能提升。
配合模型压缩（Layer-wise Compression），推理速度能达到传统方案的 3 倍。

一行代码搞定

fromairllmimportAutoModel model=AutoModel.from_pretrained("Qwen/Qwen3-32B")# 想跑更大的？# model = AutoModel.from_pretrained("Qwen/Qwen3-235B-A22B") # 235B, 约3GB显存

AutoModel 会自动检测模型类型，不需要手动指定。支持的模型包括 Llama3/3.1/3.2、DeepSeek V2/V3、Qwen2.5/3、Gemma、Phi-4、ChatGLM、Baichuan 等主流模型。

快速上手

pipinstallairllm

Mac 用户也能直接跑：

# macOS 也能运行 70B 模型model=AutoModel.from_pretrained("Qwen/Qwen3-32B")outputs=model.generate(prompt="你好",max_length=128)print(outputs)

官方还提供了 Colab 示例，可以直接在免费的 T4 GPU 上运行 405B 模型。

支持的模型与显存对比

我的评价

AirLLM 的价值不在于"让穷人也能跑大模型"，而在于降低了大模型推理的硬件门槛，让更多研究者和开发者能在消费级硬件上做实验。
相比 vLLM 和 TensorRT-LLM（它们追求的是吞吐量和延迟），AirLLM 的定位更偏向单机实验和开发。它不是生产环境的最优解，但绝对是个人研究和快速原型的首选。
竞品对比：

• vLLM：生产级推理框架，追求吞吐量和低延迟，但显存需求仍然是全模型加载
• TensorRT-LLM：NVIDIA 官方推理优化，性能最强，但依赖 CUDA，部署复杂
• AirLLM：单机实验友好，显存占用最低，部署最简单
  如果你的场景是"想在个人电脑上试一下某个新模型"，AirLLM 是目前最优的选择。