# GPT 只是一个函数：预测下一个词，如何造出今天所有的奇迹 ## 导语 每个开发者都在用 GPT，但绝大多数人——包括很多写了多年后端的人——其实从未真正回答过一个最朴素的问题：**当你按下回车，到底发生了什么？** 我们习惯把大模型当作一个会聊天的黑箱、一个"很聪明的搜索引擎"，或者干脆当成魔法。3Blue1Brown（Grant Sanderson）这支《But what is a GPT? | Intro to large language models》之所以值得每个程序员认真看一遍，是因为它把整个大语言模型彻底拆开，告诉你：**GPT 不是黑箱，它从头到尾只是一个函数**——一个把"一段 token 序列"映射成"下一个 token 概率分布"的可微函数。当你真正理解了这一点，prompt 工程不再是玄学，温度参数不再是旋钮，幻觉也不再是 bug 而是 feature。这篇文章我会在忠实于视频主线的同时，补充它没展开的工程细节，并标注哪些是 Grant 的原话、哪些是我的延伸。 ## 视频背景卡片 | 项目 | 内容 | |------|------| | 视频标题 | But what is a GPT? \| Intro to large language models | | 频道 | 3Blue1Brown（Grant Sanderson） | | 时长 | 约 20 分钟 | | 播放量 | 数百万（该频道是数学可视化领域标杆） | | 核心主题 | 一个 token 序列如何被函数化为"下一个词"的概率 | ## 核心内容拆解 ### 一、本质：GPT 是一个函数，而且只有一个目标 视频最反直觉、也最关键的一句话是：**别把 GPT 当成"一个会思考的大脑"，把它当成一个函数。** 输入是一串 token，输出是词表上每个候选词的概率。仅此而已。 这个函数的全部魔力来自三件事的叠加：一个极其简单的训练目标（**预测下一个 token**）、一个能被梯度下降优化的可微结构（**transformer**）、以及天文数字的参数与数据。Grant 反复强调：没有任何"推理引擎"被手工写进去，模型并不知道自己在做翻译还是在写代码——它只是被海量文本逼着学会"在给定上文时，下一个词最可能是什么"。**（视频原话与精神）** 我的延伸：理解这一点，就理解了为什么"提示词"如此重要。提示词不是在"问问题"，而是在**把残差流推到模型内部那个最可能生成你想要答案的子空间**。Prompt 工程的本质，是用上下文操纵函数的输入，从而间接操纵输出的概率分布——它不是玄学，是实打实的数学。 ### 二、Token 与嵌入：模型的"思维带宽" 视频展示了第一步：文本既不是按字符切，也不是按完整单词切，而是切成 **subword token**（子词）。每个 token 通过一张**嵌入矩阵（embedding matrix）**被查表成一个高维向量（比如 GPT-3 是 12288 维），再叠加上**位置编码（positional encoding）**，告诉模型"这个词在第几位"。 Grant 用几何直觉解释：嵌入向量把每个 token 放进一个高维的"语义空间"，**方向**编码语义，**长度/位置**编码关系。维度越高，模型能同时分辨的概念越多——这就是它的"思维带宽"。**（视频原话）** 延伸：为什么维度重要？因为在高维空间里，你能塞下的、彼此正交的"方向"数量也线性增长。词表里几万个 token、语言里无数的概念关系，都要靠这些维度的组合来编码。所以"模型大小"几乎等价于"嵌入维度 × 层数"——这也是为什么 GPT-3 要做到 12288 维、96 层。 ### 三、注意力 = 一个会"软查询"的数据库 这是视频最精彩的部分，也是 transformer 的核心。每个 token 在每一层都会生成三种向量：**Query（查询）、Key（键）、Value（值）**。注意力的本质是： - 用 **Query** 去和所有 token 的 **Key** 做点积，点积越大表示"我越想关注你"； - 把点积过 softmax 变成权重（**软查询**——不是非此即彼，而是对所有 token 都给一个连续的注意力权重）； - 再用这些权重对所有 token 的 **Value** 做加权求和，得到更新后的信息。 Grant 的金句：**注意力就像一个可微的数据库查询。** 普通数据库是硬查找（命中或不命中），而注意力是软查找——一次查询能同时"分心"地瞥见所有位置。**多头注意力（multi-head）** 则是让模型同时进行很多种不同理由的"关注"：有的头看语法、有的看指代、有的看常识。**（视频原话）** 延伸：这正是 transformer 击败 RNN 的根本原因。RNN 必须把历史压缩进一个隐状态、按顺序逐步传递，长程信息必然衰减；注意力则允许**任意两个 token 直接对话**，路径长度变成 O(1)，所以才能吃下几千甚至上万的上下文。 ### 四、残差流：贯穿所有层的信息高速公路 这是 Grant 在视频里反复强调、却被很多科普省略掉的关键概念，也是理解 transformer 可堆叠、可被"机械可解释性"研究的钥匙。 模型内部有一条贯穿始终的**残差流（residual stream）**——一个高维向量，像传送带一样从第一层一直流到最后一层。每一个 attention 层、每一个 MLP 层，本质上都只是在做同一件事：**从残差流里读信息 → 计算一个修正量 → 把修正量加回残差流。** 也就是 `stream ← stream + module(stream)`。**（视频原话与精神）** 这条设计有两个深远后果：第一，它让模型可以堆得很深（96 层）而不训练崩溃——梯度能沿着残差通路一路回流；第二，它让"读懂模型"成为可能——后来的 Anthropic 可解释性研究正是沿着残差流去追踪"哪一层把什么事实写了进去"。我的延伸：当你看到"思维链（chain of thought）"有效，本质上就是在让模型把中间推理的 token 也写进残差流，给后面的层更多可读的上下文——这是 CoT 起作用的数学根源。 ### 五、MLP 就是模型的"记忆体" 视频还点出一个常被忽略的分工：如果 attention 负责"在上下文里搬信息"，那么 **MLP（多层感知机）负责"记住事实"**。Grant 用一种很形象的讲法：MLP 在超大的向量空间里做的，其实是**稀疏的 key-value 查找**——输入的残差向量当作 key，去匹配它内部存着的大量"知识槽位"，把命中的 value 加回残差流。**（视频原话）** 延伸：这正是后来"超叠加（superposition）"研究的直觉——模型不会为每个事实预留一个神经元，而是让无数概念重叠地编码在同一组神经元上。这件事的工程含义巨大：**fine-tuning 改的主要是 MLP 里的权重**（也就是模型的"长期记忆"），而 in-context learning / RAG 改的是输入上下文（也就是模型的"短期工作记忆"）。理解了这个分工，你就明白为什么"想让模型记住公司私有知识"，用 RAG（喂进上下文）通常比全量微调更可控、更便宜、更不容易灾难性遗忘。 ### 六、Unembedding + 采样：概率如何变成一个词，以及"温度"到底在调什么 视频的最后一段把整个流程收口：最后那个 token 的残差流，被一张 **unembedding 矩阵**投影回词表维度，得到每个候选词的 **logits**；再过 **softmax**，就变成了下一个 token 的概率分布。 然后关键来了——模型并不一定挑概率最高的那个词，而是**采样**。这里出现了 Grant 对**温度（temperature）**最清晰的解释：采样前把所有 logits 除以温度 T。**T 越小，概率越尖锐，输出越确定（接近贪心解码）；T 越大，分布越平坦，输出越随机、越"有创意"。** 再叠加上 top-k / top-p（nucleus sampling）把长尾噪声截掉。**（视频原话）** 我的延伸：这就是为什么"幻觉"不是 bug 而是 feature 的根源——**模型的输出本质是一个概率分布上的采样**，它从不"查询事实"，它只是"在统计上最可能接这个词"。当训练分布里没有足够支撑，它照样会自信地采样出一个编造的答案。理解这一点，你做工程时就不会再用"它怎么连这都不知道"去抱怨，而是去设计 RAG、去约束输出格式、去做 verification。 ## 知识结构图 ```mermaid flowchart TD A["输入文本"] --> B["分词 Tokenization
切成 subword token"] B --> C["嵌入 Embedding
查表成高维向量 + 位置编码"] C --> R(("残差流
Residual Stream")) subgraph BLOCK["Transformer Block × N（如 GPT-3 为 96 层）"] R -->|读| ATN["多头注意力
Query-Key-Value 软查询"] ATN -->|加回| R R -->|读| MLP["MLP 联想记忆
稀疏 key-value 查找"] MLP -->|加回| R end R --> U["Unembedding
投影回词表维度"] U --> L["Logits"] L --> S["Softmax / 温度 T / top-p"] S --> P["下一个 token 的概率分布"] P --> SM["采样"] SM --> NT["新 token"] NT -.自回归地拼回上文.-> A style R fill:#ffd966,stroke:#b8860b,stroke-width:2px style BLOCK fill:#eef,stroke:#66c ``` ## 实战启示：理解了"它是一个函数"，工程该怎么做？ 对开发者来说，这支视频最大的价值不是让你能复现一个 GPT，而是**改变你和模型打交道的心智模型**。几条可以直接落地的判断： **1. 把 prompt 当成对"输入空间"的操控。** 模型是函数，你的提示词是自变量。Few-shot 例子之所以有效，是因为它们把残差流稳定地推向某个子空间；长篇的、矛盾的上下文会"稀释"注意力。所以写 prompt 要追求**信息密度高、信号噪声比高**，而不是越长越好。 **2. RAG 解决"记忆"，fine-tuning 改"记忆"，要分清用哪个。** 模型的私有知识需求，绝大多数该用检索增强（把知识塞进上下文，走 attention 的"短期工作记忆"通路），而不是全量微调（改 MLP 的"长期记忆"，贵且易遗忘）。只有当行为风格、领域格式这类"无法靠上下文表达"的东西需要固化时，才上微调。 **3. 温度和采样是真正的工程旋钮。** 需要确定性、可复现（代码、结构化抽取）就用低温度甚至 `temperature=0`；需要发散（创意、brainstorm）才调高，并配合 top-p 截尾控制质量。 **4. 上下文窗口 = attention 能看到的"历史"。** 任何超出窗口的内容模型真的"看不见"。这也是为什么长文档要分块、为什么要把最关键的信息放在窗口末尾附近（近因效应在注意力里是真实存在的）。 **5. 幻觉要做工程兜底，而不是指望模型"自律"。** 既然输出是概率采样，关键事实就必须用**外部验证、工具调用（function calling）、引用溯源**来约束。把 LLM 当成"草稿生成器 + 概率引擎"，把确定性交给代码和检索。 ## 延伸学习路径 1. **3Blue1Brown 深度学习系列**：从《But what is a neural network?》到《Visualizing attention, a transformer's heart》，把这套几何直觉补全。 2. **Andrej Karpathy —《Let's build GPT》(nanoGPT)**：从零用 PyTorch 写一个 GPT，把"函数"落到代码里，是看完 3B1B 后最好的实战。 3. **《Attention Is All You Need》(Vaswani et al., 2017)**：原论文，5 分钟读完 QKV 和多头，理解工程上的原始定义。 4. **Jay Alammar —《The Illustrated Transformer》**：图文并茂地把每一层的数据流动画出来，和 3B1B 互补。 5. **Anthropic 可解释性研究（Transformer Circuits / "mathematical framework"）**：沿着残差流深入，看学者们如何"读懂"模型内部，是这条路的进阶。 ## 一句话总结 **GPT 从头到尾只是一个把 token 序列映射成"下一个词概率分布"的可微函数——所有的智能，都从"预测下一个词"这个朴素目标里涌现出来。** ## 参考来源 1. [But what is a GPT? | Intro to large language models — 3Blue1Brown](https://www.youtube.com/watch?v=wjZofJX0v4M) — 本文分析的核心视频 2. [Attention Is All You Need (Vaswani et al., 2017)](https://arxiv.org/abs/1706.03762) — Transformer 原始论文，QKV 与多头的工程定义来源 3. [nanoGPT — Andrej Karpathy](https://github.com/karpathy/nanoGPT) — 从零实现 GPT 的实战代码 4. [The Illustrated Transformer — Jay Alammar](https://jalammar.github.io/illustrated-transformer/) — 逐层数据流动的图文解读 5. [A Mathematical Framework for Transformer Circuits — Anthropic](https://transformer-circuits.pub/2021/framework/index.html) — 沿残差流解读模型内部的研究基础 > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 **完成摘要** **下一步计划（供参考）** 1. 优先级高：若需要逐句精确还原视频，建议在有可用网络（非云服务器 IP）环境下重跑 `youtube_transcript.py wjZofJX0v4M` 拉取真实字幕校对。 2. 优先级中：可继续做 3B1B 同系列的《Visualizing attention》（注意力专章）作为姊妹篇，但需确认不与本文重复。 3. 优先级低：当 WebSearch 配额在 07-18 恢复后，可补抓该视频的最新播放量/发布日期等动态数据回填背景卡片。 **注意事项** - 受 IP 封锁与配额限制，播放量采用"数百万"保守表述、发布时间标为"约"，避免编造精确数字；若用于正式发布建议二次核对。 - 视频链接 `wjZofJX0v4M` 已由字幕脚本验证为有效视频 ID。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。