首页 › glossary › 什么是KV缓存？让AI不用从头背书

KV缓存，说白了就是AI的“课堂笔记”：模型把已经读过的每个字，提前整理成一张张小卡片存在显存里，之后每写一个新字，只翻卡片、不重读原文。你感觉AI聊天秒回、API账单里冒出“缓存折扣”、智算中心的显卡动辄几百GB显存——背后全是这本笔记在记账。看不懂它，就看不懂大模型的速度和价格是怎么算出来的。

目录

  1. KV缓存是什么？
  2. 为什么最近这么火？
  3. 一张图看懂
  4. 和我有什么关系？
  5. 一分钟总结
  6. 延伸阅读

一、KV缓存是什么？

先补两个最小必要的名词：

在大模型（更准确说是Transformer架构，当前几乎所有大模型的底座）里，每读一个词元，注意力机制都会给它记两样东西：

关键问题来了：AI是一个字一个字往外蹦的（这叫自回归生成）。要写第1000个字，模型必须回看前999个字；要写第1001个字，又得回看前1000个字。Hugging Face官方文档里有个很形象的讲法：这就像和人聊天，对方却记不住自己说过的话，每次回你都要从头把对话重讲一遍。

没有KV缓存会怎样？模型每写一个新字，都要把前面所有字重新过一遍注意力计算，把每一张“索引卡”和“资料卡”重新做一遍。官方文档给出的对比结论很直白：不用缓存，每一步的计算量随长度平方级暴涨；用了缓存，每一步的计算量只随长度线性增长。一个平方、一个线性，聊天越长差距越吓人。

KV缓存干的事就一件：算过的卡片不许扔，存进显存里。下次要写新字，先把旧卡片从缓存里捞出来直接用，只给新字现做一张新卡片，用完也存回去。

一个生活化类比：你抄一篇长文的听写。笨办法是每写一个字，都把全文从头朗读一遍再落笔——写到最后一行时，你已经把全文听了一千遍。聪明办法是读一遍时就在草稿纸上做笔记，之后每写一个字只瞄一眼笔记。KV缓存就是那本草稿纸。

但要记住：这本笔记省的是算力，费的是显存。以经典的Llama-2-7B（70亿参数模型）粗算，每处理一个词元，就要在显卡内存里记下约0.5MB的K、V卡片；一段4000词元的对话，光笔记就占约2GB。这只是一个人的一次会话——服务器上同时有几百人提问，笔记加起来就是几百GB，比模型本身的“体重”还占地方。这就是为什么“上下文越长，AI越贵越慢”这句话，几乎是大模型行业的物理学定律。

二、为什么最近这么火？

KV缓存不是新概念，它早就在每个推理引擎里默默干活。它最近冲上热词榜，是因为四件事同时发生了：

第一，AI从“聊天”进化到“打工”。 智能体（Agent，能连续自主干活的AI）要一口气读写几万字代码、翻几百页文档、连续工作几个小时，对话历史滚雪球。KV缓存从“后台小透明”变成了显存的第一大户，成了推理成本的账本主角。

第二，长上下文军备竞赛。 各家模型都在卷百万级词元的上下文窗口。笔记按字数线性增长，百万字的“课堂笔记”塞都塞不下——不优化KV缓存，长上下文就是一句空话。

第三，管理这门笔记的手艺成了行业标准。 代表作是PagedAttention：研究者把操作系统管理内存的“分页”思想（把大文件切成固定大小的小页，按需分给程序，别留整块空房浪费）搬来管理KV缓存。vLLM官方博客发布的数据显示，这套方法把显存浪费大幅压掉后，服务吞吐量最高提升2到4倍，如今已是行业事实标准。DeepSeek则从模型结构下手，用MLA（多头潜在注意力，一种把K、V卡片压缩成“摘要卡”的设计），把每个字的笔记体积压低一个数量级，让开源模型也能便宜地跑长上下文。

第四，缓存直接上了价目表。 主流大模型API都上线了“上下文缓存”计费：同一段长资料（比如系统提示词、产品手册）反复使用时，命中缓存的部分按一到五折甚至更低收费。原因很简单——笔记已经做好了，服务方省下了重算的电费，把折扣让给你。KV缓存从纯技术词，变成了写进发票里的商业词。

一句话总结它火的原因：训练拼的是谁算得起，推理拼的是谁记得巧——而KV缓存就是“记得巧”的全部秘密。

三、一张图看懂

第一张图：带不带KV缓存，AI写一个字的差别。

flowchart TD
    A[AI要写下一个字] --> B{带不带KV缓存?}
    B -->|不带| C[重读前面全部内容]
    C --> D[所有K和V重新计算]
    D --> E[越写越慢越贵<br/>计算量平方级]
    B -->|带| F[翻出旧字的索引卡和资料卡]
    F --> G[只算新字自己的K和V]
    G --> H[新卡片存回显存<br/>每步开销是线性]

第二张图：一张“笔记卡片”是怎么诞生的。

flowchart TD
    A[输入文字] --> B[切成词元Token]
    B --> C[每层注意力算出K和V]
    C --> D[K索引卡<br/>我对暗号用]
    C --> E[V资料卡<br/>我携带的内容]
    D --> F[一起存进显存里的KV缓存]
    E --> F
    F --> G[新词元来了直接翻笔记]

四、和我有什么关系？

对普通人： 你早就被它“服务”过了。为什么AI聊得越久回复越慢、月费越高？因为笔记越记越厚；为什么很多产品限制对话长度、超了就“失忆”要新开窗口？因为显存装不下更多笔记；为什么往AI里丢长文档问答，同样的资料第二次就便宜了？因为笔记命中了缓存。理解KV缓存，你就理解了AI产品的定价逻辑。

对从业者： 这是推理时代最硬的手艺活。智算中心和边缘推理（在手机、车机上跑AI）的账本核心就是它：显存像酒店客房，KV缓存是每位客人占的房间——房间分得巧，同一栋楼就能多接待几倍客人，机时单价才打得下来。推理引擎选型（vLLM一类）、缓存量化（把卡片从“精装”改“简装”省显存）、上下文长度调优，全是面试高频题，也是网络运维工程师转型AI基础设施的最近的一道门。

对投资者： 推理成本决定AI商业化的生死。KV缓存这条线上的关键玩家值得盯住：推理框架与调度软件、推理专用芯片、高带宽显存（HBM，显卡上那块跑得飞快的内存）、以及各种KV压缩技术。谁能让“笔记”更小、翻得更快，谁就在分走推理经济学的最大红利。

五、一分钟总结

  1. KV缓存，就是AI给读过的每个字记的“索引卡＋资料卡”，存在显存里随取随用。
  2. 没有它，AI每写一个字都要重读全文，计算量平方级爆炸，根本没法用。
  3. 代价是显存：上下文越长，笔记越厚，这是“长文贵、长聊慢”的根源。
  4. PagedAttention、缓存量化、DeepSeek的MLA，全是在给这本笔记“省纸”。
  5. 它直接决定AI服务的速度与价格——你体验到的每一次“秒回”，背后都有它在垫付时间。

小白可以做的三件事： ①打开任意AI应用长聊一轮，再新开对话对比速度，亲眼看看“笔记变厚”的感觉；②在常用大模型API文档里找找“缓存命中”的计价说明，算算自己能省多少；③想入行的，把“注意力机制”的图解视频看一遍——K和V搞明白了，KV缓存、推理优化这些热词就全通了。

延伸阅读

参考来源

  1. How caching works — Hugging Face Transformers 官方文档 — 官方逐步讲解KV缓存原理：无缓存时每步平方级、有缓存时线性的权威出处
  2. Cache strategies — Hugging Face Transformers 官方文档 — 动态、静态、量化、卸载缓存等工程策略一览
  3. Efficient Memory Management for LLM Serving with PagedAttention — vLLM 官方博客 — PagedAttention原始发布文章，吞吐量提升2–4倍数据的出处

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入

📎 本分类最新文章