它一个字蹦一次：每个都重跑整张网络

导语：为什么"聊几句天"这么烧钱？

如果你用过 ChatGPT、Claude 或 GitHub Copilot 的 API 计费，大概率有过这种困惑：我就让它改了个 bug、写了个函数，怎么 token 用量蹭蹭往上涨，账单比想象中贵好几倍？

Computerphile 频道 Mike Pound 教授这支 2026 年的新片《Why AI Tokens are so Expensive》，正好戳中了这个让无数开发者牙疼的问题。但它的价值不在于抱怨"AI 太贵"，而是把价格背后那套纯技术机制一层层拆给你看：为什么生成 token 比阅读 token 贵得多？为什么一个 Coding Agent 改个 bug 能烧掉上百万 token？为什么号称"算力怪兽"的 H100，在推理时其实大半时间在干等着搬显存？

看完这支视频你会明白一个反直觉的事实：LLM 推理的瓶颈根本不是"算得不够快"，而是"显存搬不动"。GPU 在解码阶段大部分时间是在发呆，等着把模型权重和 KV Cache 从显存搬进计算单元。这个认知一旦建立，你写 prompt、设计 Agent、估算成本的方式都会彻底改变。下面我把视频的硬核内容拆成几块，再补上它没展开的底层原理。

视频背景卡片

核心内容拆解

一、Token 不是"字"，是 LLM 经济学的原子

视频第一段（0:49 起）Mike 先纠正了一个常见误解：token 不等于单词，也不等于字符。它是模型分词器（tokenizer）切出来的子词单元（subword），规则大致是"1 token ≈ 4 个字符 ≈ 0.75 个英文单词"。常见词通常一个词就是一个 token，罕见词会被切成好几块，而中文往往一个汉字就要 1～2 个 token——这也是为什么用中文调 API 比英文贵一截。

我的延伸：为什么计费要以 token 为单位而不是按"次调用"？因为 token 直接对应模型内部的计算量。Transformer 处理一个 prompt，对每个 token 都要做 attention、过 FFN，计算开销严格正比于 token 数。所以 token 不是营销概念，而是计算量的天然度量。理解这一点，后面所有的"贵"才有解释的根基。

二、自回归的"原罪"：一次只能蹦一个字

视频 7:31 那段叫"Inefficiency and Cost of Autoregressive Models"，是整支视频的理论核心。Mike 讲到一个被大多数人忽略的事实：LLM 生成文本是自回归（autoregressive）的，一次只产出一个 token。

什么意思？你让它写一篇 1000 字的文章，它不是"想好全文再一次性输出"，而是：根据已生成的内容预测第 1 个 token → 把它拼回去 → 预测第 2 个 → 再拼回去……每吐一个字，都要把整张网络（几十层 Transformer、几百亿参数）从头到尾完整跑一遍，而且下一步严格依赖上一步的结果，没法并行。

我的延伸：这是视频没明说但最关键的推论——生成 N 个 token，就需要 N 次串行的前向传播。而阅读一段 prompt（prefill）时，所有输入 token 可以同时喂进网络并行算。这就是"读"和"写"在架构层面的天然不对称，下一节展开。

三、Prefill 与 Decode 的不对称：读得快，写得慢

这是视频后半段成本讨论的隐藏前提，Mike 用了 Copilot 实例来体现，但底层机制值得单独拎出来讲。LLM 推理其实分两个阶段：

• Prefill（预填）：处理你输入的 prompt。所有 prompt token 同时参与矩阵乘法，GPU 可以打满算力，算力受限（compute-bound），每个 token 算得飞快。
• Decode（解码）：生成输出。一次一个 token，每一步都要把模型权重和已积累的 KV Cache 全部重新加载一遍，但只为一个 token 做计算，显存带宽受限（memory-bandwidth-bound），单 token 吞吐极低。

我的延伸：这直接解释了 API 定价表里那个普遍规律——output token 的单价通常是 input token 的 2～4 倍。比如 GPT-4 Turbo 时代 input \$10/M、output \$30/M；Claude、Gemini 都是这个比例结构。原因不是"输出更值钱"这种玄学，而是纯物理：decode 阶段每产出一个 token，都要把动辄几十 GB 的权重从显存搬到计算单元，这个"搬家"动作重复 N 次，而 prefill 一次并行搞定全部输入。

四、显存带宽墙：GPU 解码时大半时间在发呆

这是 Mike 没有展开、但对开发者最值钱的一个底层认知。LLM 推理（尤其 decode 阶段）本质上是 memory-bound，不是 compute-bound。

判断一个 workload 是算力受限还是带宽受限，看的是算术强度（arithmetic intensity）——每搬 1 字节数据能做多少次浮点运算（FLOP/Byte）。Prefill 时，一批 token 共享同一份权重，算术强度高（几百 FLOP/Byte），GPU 算力打满。Decode 时，只为 1 个 token 算，却要搬整份权重，算术强度低到只有 1～2 FLOP/Byte，GPU 那几千 TFLOPS 的算力绝大部分在空转，干等着 HBM 显存把数据喂过来。

我的延伸：这正是为什么批处理（batching）是推理省钱的核心招。decode 时既然 GPU 在等显存，那不如同时喂 100 个用户的请求进去——搬一次权重，同时算 100 个 token，单 token 成本瞬间摊薄到 1/100。vLLM、TGI 这些推理框架拼命做的 continuous batching，本质就是在榨这个红利。视频里没讲这一层，但理解它，你才懂为什么"高峰期调用反而可能更便宜"（服务商 batch 更满）。

五、KV Cache：吃显存的隐形怪物

视频 4:09"The Cost of Conversational AI"和 agentic 部分反复暗示了上下文越长越贵，背后真凶是 KV Cache。Mike 没有细讲机制，我补全：

Transformer 的 attention 需要用到历史所有 token 的 Key 和 Value。如果每生成一个新 token 都重新计算历史 token 的 K/V，开销是平方级爆炸的。所以推理时引擎会把每个历史 token 的 K、V 张量缓存下来，这就是 KV Cache。

问题是它随上下文长度线性增长，而且常常大得离谱。一个中等规模模型在 128K 上下文时，单次请求的 KV Cache 可能就有好几个 GB，甚至超过模型权重本身。这就是社区说的"hidden memory monster"。

我的延伸：这解释了多轮对话为何越聊越贵——每说一句话，你其实是在重发整个历史，KV Cache 也跟着越堆越大。Agent 更惨（见下节）。这也是为什么现在满世界在搞 PagedAttention、KV Cache 量化、滑动窗口、KV 淘汰（eviction） 这些优化——KV Cache 才是长上下文成本的真·命门。

六、Agent 的 token 黑洞：每调用一次工具就重读全书

这是视频最精彩、也最让开发者肉疼的部分（10:15 起，一直讲到 20:50 的 Copilot bug fix 实例）。Mike 对比了两种场景的成本量级：

• 聊天机器人（Chatbot）：一问一答，输出相对可控。
• Coding Agent（编码智能体）：它要自己循环——读文件、调用工具、看返回结果、再思考、再调用下一个工具……每一步都要把不断膨胀的上下文重新过一遍。

视频里那个 GitHub Copilot 修 bug 的例子（13:22，整整讲了 7 分钟）是全片高潮：一个看似简单的 bug 修复，Agent 可能要：列出文件 → 打开文件 → 搜索关键字 → 读取上下文 → 提出假设 → 写补丁 → 跑测试 → 看报错 → 再改……每一步都把前面所有历史重发一次。最后算下来，改一个小 bug 烧掉上百万 token，账单几十美元，一点也不夸张。

我的延伸：这里有个视频点破的残酷经济学——Agent 的 token 消耗大致是工具调用次数 × 每次上下文长度的累加，近似超线性增长。Agent 越自主（autonomy 越高）、工具链越长，成本爆炸越猛。Mike 在 22:16 段直接说当前 agentic AI 的成本激励"不可持续（unsustainable）"，服务商其实是在补贴你用。

七、不是不能用，是要用对地方

视频结尾（23:55"Reasonable AI Use Cases"）Mike 给了 constructive 的收尾——AI 不是不能用，而是要看输入输出比：

• 高效用法：摘要、抽取、翻译、分类、改写——大量输入、少量输出（output ≪ input）。这种场景下 prefill 占主导，decode 很短，性价比极高。
• 低效用法：开放式 Agent 循环、长文生成、反复多轮调试——decode 和上下文重发占主导，token 像流水一样烧。

我的延伸：对开发者来说，这等于一条实操铁律——能用确定性代码 + 规则解决的，别上 Agent；非要上 Agent，把上下文压到最小、把工具设计成"返回精炼结果"而不是"dump 整个文件"。Prompt 缓存（prompt caching）能直接砍掉 prefill 重复成本，是当前最立竿见影的省钱手段。

知识结构图

flowchart TD
    A["LLM 是自回归模型<br/>一次只生成一个 token"] --> B{"推理分两阶段"}

    B --> C["Prefill 预填<br/>处理输入 prompt<br/>所有 token 并行<br/>算力受限 · 算得快"]
    B --> D["Decode 解码<br/>逐个生成 token<br/>串行依赖 · 算得慢"]

    D --> E["显存带宽墙<br/>每步重搬整份权重<br/>算术强度极低<br/>GPU 大半时间在发呆"]
    E --> F["Output 单价 ≈ Input 的 2~4 倍"]

    C --> G["KV Cache<br/>缓存历史 K/V 张量<br/>随上下文线性增长<br/>长上下文时超过模型权重"]
    G --> H["多轮对话 / Agent<br/>每步重发整个上下文"]

    H --> I["Coding Agent token 黑洞<br/>工具循环 × 上下文膨胀<br/>改个 bug 烧百万 token"]

    E --> J["省钱关键：批处理 batching<br/>搬一次权重算多个请求"]
    G --> K["省钱关键：KV Cache 优化<br/>PagedAttention / 量化 / 淘汰"]
    C --> L["省钱关键：Prompt Caching<br/>复用 prefill 结果"]

    J --> M["对开发者的启示<br/>压上下文 · 精炼工具返回<br/>高效场景: 摘要/抽取/翻译<br/>低效场景: 开放式 Agent 循环"]

实战启示：开发者该怎么用、怎么省钱

这支视频对我们这些天天跟 API 打交道的人，价值非常实在。我把可落地的点总结成几条：

第一，建立"输出比输入贵"的成本直觉。 设计产品时，凡是能让用户"少输出、多输入"的交互就是省钱的交互。比如让模型做摘要（输入大、输出小）就比让模型"自由创作长文"便宜一个数量级。如果你的产品是 Agent 类，账单会比预期高 5～10 倍，立项时就要把这个系数算进去，别等到月底账单吓一跳。

第二，杀 Agent 上下文。 Agent 贵就贵在每步重发上下文。优化手段按性价比排序：(1) 工具返回值做精炼——别 cat 整个文件，只返回相关片段；(2) 用 prompt caching，把系统提示、工具定义这些固定部分缓存住；(3) 定期"摘要压缩"历史，别让对话历史无限增长；(4) 能并行的工具调用别串行，减少总轮数。

第三，理解 batching，挑调用时机。 如果你是自部署推理，上 vLLM / SGLang 这类支持 continuous batching 的框架，把 batch 打满是第一优先级，比换更贵的卡还管用。如果你是调商用 API，那这条对你意义有限，但理解它能解释一些"为什么不同时段延迟/价格有波动"。

第四，重新评估"用 Agent 还是用代码"。 Mike 举的 bug fix 例子很扎心——如果一个 bug，有经验的工程师 5 分钟能改好，Agent 却烧了几十美元、几百万 token 还不一定对，那这笔账就不划算。Agent 适合"探索性、不确定性高、人力更贵"的任务，不适合"规则明确、确定性需求高"的活儿。后者用正则、用脚本、用 AST 解析，又快又便宜又可靠。

第五，盯紧 KV Cache 和上下文窗口。 如果你做的是长文档分析、代码仓库理解这类长上下文场景，成本杀手就是 KV Cache。留意服务商对长上下文的溢价（很多 API 超过某阈值后单价翻倍），优先用支持 prompt caching 和 context caching 的厂商。

延伸学习路径

1. Computerphile 官方频道 — Mike Pound 的 Transformer、神经网络、密码学系列都是同类高质量讲解，适合建立系统直觉。youtube.com/computerphile
2. WEKA《Prefill and Decode: A Technical Guide》 — 把视频没展开的两阶段不对称讲得最透的工业文章，含算术强度推导。weka.io/learn/ai-ml/prefill-and-decode
3. vLLM 论文与文档（PagedAttention） — 想理解 KV Cache 如何被"像操作系统虚拟内存一样管理"，这是必读，直接催生了现代推理引擎。
4. Redis《Prefill vs Decode》博客 — 面向工程师的 TTFT / ITL 指标拆解，适合做推理性能调优时对照。redis.io/blog/prefill-vs-decode
5. Anthropic / OpenAI 定价页 + Prompt Caching 文档 — 对照各档 input/output 单价，亲手算一笔账，认知会立刻具象化。

一句话总结

LLM token 贵，不是贵在"算"，而是贵在"搬"——自回归解码让每个字都要把整张网络和 KV Cache 从显存重搬一遍，GPU 大半时间在发呆，而 Agent 的工具循环又把这个动作重复了成千上万次。

参考来源

1. Why AI Tokens are so Expensive — Computerphile — 本文分析的核心视频（Mike Pound 主讲，2026）
2. Why AI Tokens are so Expensive - Summary & Key Insights — Summify — 视频章节摘要与关键时刻
3. Prefill and Decode: A Technical Guide — WEKA — 两阶段不对称与算术强度的工业级技术解析
4. KV Cache Economics and the Memory Wall in Agentic AI — WEKA — KV Cache 经济学与 Agent 成本爆炸
5. Prefill vs Decode — Redis — TTFT / ITL 与推理性能指标拆解

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。