本文通过公式和实测，深入分析了LLM推理中KV Cache的显存占用问题。文章从停车场模型类比解释了KV Cache的工作原理，给出了计算显存占用的公式，并通过对比MHA与GQA、不同模型和上下文长度，揭示了KV Cache占用的关键因素。此外，文章还探讨了KV Cache优化的三个方向：减少KV head数（GQA/MQA）、量化降低精度以及使用稀疏Attention和Offloading技术。对于想要了解大模型优化和显存管理的学习者来说，本文提供了实用的知识和参考。
问题引入：一个让人意外的数字
先抛一组数字：
- LLaMA-2 7B，一个 1M 上下文的请求，KV Cache 就要吃掉 500 MB
- 256 个这样的请求并发？128 GB——两张 H100 的全部显存
- 模型权重还没算
如果是 LLaMA-3 70B + 256 并发 x 1M 上下文，KV Cache 需要 64 GB，加上 140 GB 的模型权重，总共 204 GB，3 张 H100 才够。
今天这篇文章，我们从一个公式出发，把 KV Cache 的显存占用算个清清楚楚。
直觉解释：停车场模型
把 GPU 显存想象成一个停车场。模型权重是"固定租户"——搬进来就占了一大块地方，永远不走。KV Cache 是"临时车辆"——每个用户的每次对话都要停进来，对话越长，停的位置越多。
70B 模型 FP16 就要 140 GB，单张 H100 根本装不下。固定租户先占走一大块，剩下的空间才是 KV Cache 的竞技场。那每辆"车"占多大位置？
一个公式算清一切
五个因子相乘，再乘以序列长度和并发数，就是总占用。就这么简单。
手算对比：MHA vs GQA
同样 32 层、head_dim=128、FP16，只是 KV head 数不同：
- LLaMA-2 7B（MHA，32 heads）：512 KB / token
- LLaMA-3 8B（GQA，8 heads）：128 KB / token
从 MHA 到 GQA，模型大小差不多，KV Cache 缩小了 4 倍。从 GQA 到 MQA，再缩小 8 倍。这就是为什么 GQA 几乎成了新模型的标配。
主流模型实测：谁最吃显存？
注意看最左边的红色柱子：LLaMA-2 7B（MHA）的 KV Cache 反而比 LLaMA-2 70B（GQA）大 2 倍！
这是一个反直觉但非常重要的事实：模型越小不代表 KV Cache 越小，关键看注意力架构。
再看 Qwen2 系列：7B 和 72B 都用了 4 个 KV head，但 72B 层数多（80 vs 28），所以 KV/token 也更大（160 KB vs 56 KB）。
上下文越长，痛得越深
KV Cache 随上下文长度线性增长——没有捷径可走。
注意对数刻度下的差距：同样 1M 上下文，LLaMA-2 7B（MHA）要吃 500 MB，而 LLaMA-3 8B（GQA）只要 128 MB——差了将近 4 倍。GQA 的优势在长文本场景下被进一步放大。
并发场景：显存堆叠图
这张图一目了然：
- 短上下文（4K）：模型权重是绝对大头，KV Cache 可以忽略
- 中等上下文（32K-128K）：KV Cache 开始增长，但权重仍主导
- 长上下文（1M）+ 高并发：KV Cache 迅速追平甚至反超权重
- 最右场景：LLaMA-2 7B（MHA）1024 并发 x 128K，KV Cache（64 GB）反超权重（14 GB）——MHA 的可怕之处
而同样场景下 LLaMA-3 70B（GQA）的 KV Cache 只有 2 GB，完全不是问题。这就是为什么 GQA 成了必选项。
三个优化方向：从公式里长出来
回到公式，要减小 KV Cache，只有三条路：
方向一：减小 n_kv_heads → GQA/MQA
上面的对比图已经说得很清楚：MHA → GQA 压缩 4 倍，GQA → MQA 再压缩 8 倍。
量化效果：从公式里直接读出来
回到公式里的 dtype_size：FP16=2B → INT8=1B → INT4=0.5B，每降一档，KV Cache 直接减半。
从 FP16 到 INT4，64 并发的 KV Cache 从 2 GB 降到 512 MB。省下来的显存，可以多服务几倍并发。量化的代价是精度损失，但在 KV Cache 这个场景下，INT8 几乎无感，INT4 也可接受。
方向三：减小有效 seq_len → 稀疏 Attention + Offloading
- 稀疏 Attention：只保留注意力权重高的 token 的 KV
- Offloading：把暂时不用的 KV 搬到 CPU 内存或 SSD
这意味着什么？
KV Cache 到底吃多少显存？答案：模型结构 x 上下文长度 x 并发数，三者线性叠加。
短对话时代价不大，但长文本 + 高并发场景下，KV Cache 会迅速吞噬所有 GPU 显存。
业界的优化方向如此一致：
- GQA/MQA 砍 KV head 数 → 从结构上减小
- 量化 降低精度 → 从存储上压缩
- PagedAttention 消除碎片 → 从分配上提效
- Offloading 向外迁移 → 从空间上扩展
每一条路都在解决同一个问题：KV Cache 太大了，显存不够用。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包：
- ✅ 从零到一的 AI 学习路径图
- ✅ 大模型调优实战手册（附医疗/金融等大厂真实案例）
- ✅ 百度/阿里专家闭门录播课
- ✅ 大模型当下最新行业报告
- ✅ 真实大厂面试真题
- ✅ 2026 最新岗位需求图谱
所有资料 ⚡️ ，朋友们如果有需要《AI大模型入门+进阶学习资源包》，下方扫码获取~
① 全套AI大模型应用开发视频教程
（包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点）
② 大模型系统化学习路线
作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！
③ 大模型学习书籍&文档
学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。
④ AI大模型最新行业报告
2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
⑤ 大模型项目实战&配套源码
学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。
⑥ 大模型大厂面试真题
面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。
以上资料如何领取？
为什么大家都在学大模型？
最近科技巨头英特尔宣布裁员2万人，传统岗位不断缩减，但AI相关技术岗疯狂扩招，有3-5年经验，大厂薪资就能给到50K*20薪！
不出1年，“有AI项目经验”将成为投递简历的门槛。
风口之下，与其像“温水煮青蛙”一样坐等被行业淘汰，不如先人一步，掌握AI大模型原理+应用技术+项目实操经验，“顺风”翻盘！
这些资料真的有用吗？
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
 agent和组件)