# 它一个字蹦一次：每个都重跑整张网络 ## 导语：为什么"聊几句天"这么烧钱？ 如果你用过 ChatGPT、Claude 或 GitHub Copilot 的 API 计费，大概率有过这种困惑：我就让它改了个 bug、写了个函数，怎么 token 用量蹭蹭往上涨，账单比想象中贵好几倍？ Computerphile 频道 Mike Pound 教授这支 2026 年的新片《Why AI Tokens are so Expensive》，正好戳中了这个让无数开发者牙疼的问题。但它的价值不在于抱怨"AI 太贵"，而是把价格背后那套**纯技术机制**一层层拆给你看：为什么生成 token 比阅读 token 贵得多？为什么一个 Coding Agent 改个 bug 能烧掉上百万 token？为什么号称"算力怪兽"的 H100，在推理时其实大半时间在**干等着搬显存**？ 看完这支视频你会明白一个反直觉的事实：**LLM 推理的瓶颈根本不是"算得不够快"，而是"显存搬不动"**。GPU 在解码阶段大部分时间是在发呆，等着把模型权重和 KV Cache 从显存搬进计算单元。这个认知一旦建立，你写 prompt、设计 Agent、估算成本的方式都会彻底改变。下面我把视频的硬核内容拆成几块，再补上它没展开的底层原理。 ## 视频背景卡片 | 项目 | 内容 | |------|------| | 视频标题 | Why AI Tokens are so Expensive | | 频道 | Computerphile（诺丁汉大学出品，Brady Haran 制作） | | 主讲 | Dr. Mike Pound（计算机科学家） | | 时长 | 约 26 分钟 | | 播放量 | 2026 新片，Computerphile 订阅超 270 万 | | 核心主题 | LLM token 定价背后的自回归机制、显存带宽墙与 Agent token 爆炸 | ## 核心内容拆解 ### 一、Token 不是"字"，是 LLM 经济学的原子 视频第一段（0:49 起）Mike 先纠正了一个常见误解：token 不等于单词，也不等于字符。它是模型分词器（tokenizer）切出来的**子词单元（subword）**，规则大致是"1 token ≈ 4 个字符 ≈ 0.75 个英文单词"。常见词通常一个词就是一个 token，罕见词会被切成好几块，而中文往往一个汉字就要 1～2 个 token——这也是为什么用中文调 API 比英文贵一截。 > **我的延伸**：为什么计费要以 token 为单位而不是按"次调用"？因为 token 直接对应模型内部的计算量。Transformer 处理一个 prompt，对每个 token 都要做 attention、过 FFN，计算开销严格正比于 token 数。所以 token 不是营销概念，而是**计算量的天然度量**。理解这一点，后面所有的"贵"才有解释的根基。 ### 二、自回归的"原罪"：一次只能蹦一个字 视频 7:31 那段叫"Inefficiency and Cost of Autoregressive Models"，是整支视频的理论核心。Mike 讲到一个被大多数人忽略的事实：**LLM 生成文本是自回归（autoregressive）的，一次只产出一个 token**。 什么意思？你让它写一篇 1000 字的文章，它不是"想好全文再一次性输出"，而是：根据已生成的内容预测第 1 个 token → 把它拼回去 → 预测第 2 个 → 再拼回去……每吐一个字，都要把**整张网络（几十层 Transformer、几百亿参数）从头到尾完整跑一遍**，而且下一步严格依赖上一步的结果，**没法并行**。 > **我的延伸**：这是视频没明说但最关键的推论——生成 N 个 token，就需要 N 次串行的前向传播。而阅读一段 prompt（prefill）时，所有输入 token 可以**同时**喂进网络并行算。这就是"读"和"写"在架构层面的天然不对称，下一节展开。 ### 三、Prefill 与 Decode 的不对称：读得快，写得慢 这是视频后半段成本讨论的隐藏前提，Mike 用了 Copilot 实例来体现，但底层机制值得单独拎出来讲。LLM 推理其实分两个阶段： - **Prefill（预填）**：处理你输入的 prompt。所有 prompt token 同时参与矩阵乘法，GPU 可以打满算力，**算力受限（compute-bound）**，每个 token 算得飞快。 - **Decode（解码）**：生成输出。一次一个 token，每一步都要把模型权重和已积累的 KV Cache 全部重新加载一遍，但只为一个 token 做计算，**显存带宽受限（memory-bandwidth-bound）**，单 token 吞吐极低。 > **我的延伸**：这直接解释了 API 定价表里那个普遍规律——**output token 的单价通常是 input token 的 2～4 倍**。比如 GPT-4 Turbo 时代 input \$10/M、output \$30/M；Claude、Gemini 都是这个比例结构。原因不是"输出更值钱"这种玄学，而是纯物理：decode 阶段每产出一个 token，都要把动辄几十 GB 的权重从显存搬到计算单元，这个"搬家"动作重复 N 次，而 prefill 一次并行搞定全部输入。 ### 四、显存带宽墙：GPU 解码时大半时间在发呆 这是 Mike 没有展开、但对开发者最值钱的一个底层认知。**LLM 推理（尤其 decode 阶段）本质上是 memory-bound，不是 compute-bound**。 判断一个 workload 是算力受限还是带宽受限，看的是**算术强度（arithmetic intensity）**——每搬 1 字节数据能做多少次浮点运算（FLOP/Byte）。Prefill 时，一批 token 共享同一份权重，算术强度高（几百 FLOP/Byte），GPU 算力打满。Decode 时，只为 1 个 token 算，却要搬整份权重，算术强度低到只有 1～2 FLOP/Byte，**GPU 那几千 TFLOPS 的算力绝大部分在空转，干等着 HBM 显存把数据喂过来**。 > **我的延伸**：这正是为什么**批处理（batching）是推理省钱的核心招**。decode 时既然 GPU 在等显存，那不如同时喂 100 个用户的请求进去——搬一次权重，同时算 100 个 token，单 token 成本瞬间摊薄到 1/100。vLLM、TGI 这些推理框架拼命做的 continuous batching，本质就是在榨这个红利。视频里没讲这一层，但理解它，你才懂为什么"高峰期调用反而可能更便宜"（服务商 batch 更满）。 ### 五、KV Cache：吃显存的隐形怪物 视频 4:09"The Cost of Conversational AI"和 agentic 部分反复暗示了上下文越长越贵，背后真凶是 **KV Cache**。Mike 没有细讲机制，我补全： Transformer 的 attention 需要用到历史所有 token 的 Key 和 Value。如果每生成一个新 token 都重新计算历史 token 的 K/V，开销是平方级爆炸的。所以推理时引擎会把**每个历史 token 的 K、V 张量缓存下来**，这就是 KV Cache。 问题是它**随上下文长度线性增长**，而且常常大得离谱。一个中等规模模型在 128K 上下文时，单次请求的 KV Cache 可能就有好几个 GB，**甚至超过模型权重本身**。这就是社区说的"hidden memory monster"。 > **我的延伸**：这解释了多轮对话为何越聊越贵——每说一句话，你其实是在**重发整个历史**，KV Cache 也跟着越堆越大。Agent 更惨（见下节）。这也是为什么现在满世界在搞 **PagedAttention、KV Cache 量化、滑动窗口、KV 淘汰（eviction）** 这些优化——KV Cache 才是长上下文成本的真·命门。 ### 六、Agent 的 token 黑洞：每调用一次工具就重读全书 这是视频最精彩、也最让开发者肉疼的部分（10:15 起，一直讲到 20:50 的 Copilot bug fix 实例）。Mike 对比了两种场景的成本量级： - **聊天机器人（Chatbot）**：一问一答，输出相对可控。 - **Coding Agent（编码智能体）**：它要自己**循环**——读文件、调用工具、看返回结果、再思考、再调用下一个工具……每一步都要把**不断膨胀的上下文**重新过一遍。 视频里那个 GitHub Copilot 修 bug 的例子（13:22，整整讲了 7 分钟）是全片高潮：一个看似简单的 bug 修复，Agent 可能要：列出文件 → 打开文件 → 搜索关键字 → 读取上下文 → 提出假设 → 写补丁 → 跑测试 → 看报错 → 再改……**每一步都把前面所有历史重发一次**。最后算下来，改一个小 bug 烧掉上百万 token，账单几十美元，一点也不夸张。 > **我的延伸**：这里有个视频点破的残酷经济学——**Agent 的 token 消耗大致是工具调用次数 × 每次上下文长度的累加，近似超线性增长**。Agent 越自主（autonomy 越高）、工具链越长，成本爆炸越猛。Mike 在 22:16 段直接说当前 agentic AI 的成本激励"不可持续（unsustainable）"，服务商其实是在补贴你用。 ### 七、不是不能用，是要用对地方 视频结尾（23:55"Reasonable AI Use Cases"）Mike 给了 constructive 的收尾——AI 不是不能用，而是要看**输入输出比**： - **高效用法**：摘要、抽取、翻译、分类、改写——大量输入、少量输出（output ≪ input）。这种场景下 prefill 占主导，decode 很短，性价比极高。 - **低效用法**：开放式 Agent 循环、长文生成、反复多轮调试——decode 和上下文重发占主导，token 像流水一样烧。 > **我的延伸**：对开发者来说，这等于一条实操铁律——**能用确定性代码 + 规则解决的，别上 Agent；非要上 Agent，把上下文压到最小、把工具设计成"返回精炼结果"而不是"dump 整个文件"**。Prompt 缓存（prompt caching）能直接砍掉 prefill 重复成本，是当前最立竿见影的省钱手段。 ## 知识结构图 ```mermaid flowchart TD A["LLM 是自回归模型
一次只生成一个 token"] --> B{"推理分两阶段"} B --> C["Prefill 预填
处理输入 prompt
所有 token 并行
算力受限 · 算得快"] B --> D["Decode 解码
逐个生成 token
串行依赖 · 算得慢"] D --> E["显存带宽墙
每步重搬整份权重
算术强度极低
GPU 大半时间在发呆"] E --> F["Output 单价 ≈ Input 的 2~4 倍"] C --> G["KV Cache
缓存历史 K/V 张量
随上下文线性增长
长上下文时超过模型权重"] G --> H["多轮对话 / Agent
每步重发整个上下文"] H --> I["Coding Agent token 黑洞
工具循环 × 上下文膨胀
改个 bug 烧百万 token"] E --> J["省钱关键：批处理 batching
搬一次权重算多个请求"] G --> K["省钱关键：KV Cache 优化
PagedAttention / 量化 / 淘汰"] C --> L["省钱关键：Prompt Caching
复用 prefill 结果"] J --> M["对开发者的启示
压上下文 · 精炼工具返回
高效场景: 摘要/抽取/翻译
低效场景: 开放式 Agent 循环"] ``` ## 实战启示：开发者该怎么用、怎么省钱 这支视频对我们这些天天跟 API 打交道的人，价值非常实在。我把可落地的点总结成几条： **第一，建立"输出比输入贵"的成本直觉。** 设计产品时，凡是能让用户"少输出、多输入"的交互就是省钱的交互。比如让模型做摘要（输入大、输出小）就比让模型"自由创作长文"便宜一个数量级。如果你的产品是 Agent 类，账单会比预期高 5～10 倍，**立项时就要把这个系数算进去**，别等到月底账单吓一跳。 **第二，杀 Agent 上下文。** Agent 贵就贵在每步重发上下文。优化手段按性价比排序：(1) 工具返回值做精炼——别 `cat` 整个文件，只返回相关片段；(2) 用 prompt caching，把系统提示、工具定义这些固定部分缓存住；(3) 定期"摘要压缩"历史，别让对话历史无限增长；(4) 能并行的工具调用别串行，减少总轮数。 **第三，理解 batching，挑调用时机。** 如果你是自部署推理，上 vLLM / SGLang 这类支持 continuous batching 的框架，把 batch 打满是第一优先级，比换更贵的卡还管用。如果你是调商用 API，那这条对你意义有限，但理解它能解释一些"为什么不同时段延迟/价格有波动"。 **第四，重新评估"用 Agent 还是用代码"。** Mike 举的 bug fix 例子很扎心——如果一个 bug，有经验的工程师 5 分钟能改好，Agent 却烧了几十美元、几百万 token 还不一定对，那这笔账就不划算。**Agent 适合"探索性、不确定性高、人力更贵"的任务**，不适合"规则明确、确定性需求高"的活儿。后者用正则、用脚本、用 AST 解析，又快又便宜又可靠。 **第五，盯紧 KV Cache 和上下文窗口。** 如果你做的是长文档分析、代码仓库理解这类长上下文场景，成本杀手就是 KV Cache。留意服务商对长上下文的溢价（很多 API 超过某阈值后单价翻倍），优先用支持 prompt caching 和 context caching 的厂商。 ## 延伸学习路径 1. **Computerphile 官方频道** — Mike Pound 的 Transformer、神经网络、密码学系列都是同类高质量讲解，适合建立系统直觉。[youtube.com/computerphile](https://www.youtube.com/computerphile) 2. **WEKA《Prefill and Decode: A Technical Guide》** — 把视频没展开的两阶段不对称讲得最透的工业文章，含算术强度推导。[weka.io/learn/ai-ml/prefill-and-decode](https://www.weka.io/learn/ai-ml/prefill-and-decode/) 3. **vLLM 论文与文档（PagedAttention）** — 想理解 KV Cache 如何被"像操作系统虚拟内存一样管理"，这是必读，直接催生了现代推理引擎。 4. **Redis《Prefill vs Decode》博客** — 面向工程师的 TTFT / ITL 指标拆解，适合做推理性能调优时对照。[redis.io/blog/prefill-vs-decode](https://redis.io/blog/prefill-vs-decode/) 5. **Anthropic / OpenAI 定价页 + Prompt Caching 文档** — 对照各档 input/output 单价，亲手算一笔账，认知会立刻具象化。 ## 一句话总结 **LLM token 贵，不是贵在"算"，而是贵在"搬"——自回归解码让每个字都要把整张网络和 KV Cache 从显存重搬一遍，GPU 大半时间在发呆，而 Agent 的工具循环又把这个动作重复了成千上万次。** ## 参考来源 1. [Why AI Tokens are so Expensive — Computerphile](https://www.youtube.com/watch?v=-0HRzXk8vlk) — 本文分析的核心视频（Mike Pound 主讲，2026） 2. [Why AI Tokens are so Expensive - Summary & Key Insights — Summify](https://summify.io/discover/why-ai-tokens-are-so-expensive-computerphile--0HRzX) — 视频章节摘要与关键时刻 3. [Prefill and Decode: A Technical Guide — WEKA](https://www.weka.io/learn/ai-ml/prefill-and-decode/) — 两阶段不对称与算术强度的工业级技术解析 4. [KV Cache Economics and the Memory Wall in Agentic AI — WEKA](https://www.weka.io/article/why-gpu-memory-scarcity-and-kv-cache-eviction-are-undermining-agentic-ai-economics-in-2026) — KV Cache 经济学与 Agent 成本爆炸 5. [Prefill vs Decode — Redis](https://redis.io/blog/prefill-vs-decode/) — TTFT / ITL 与推理性能指标拆解 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。