每个开发者都在用 GPT，但绝大多数人——包括很多写了多年后端的人——其实从未真正回答过一个最朴素的问题：当你按下回车，到底发生了什么？ 我们习惯把大模型当作一个会聊天的黑箱、一个"很聪明的搜索引擎"，或者干脆当成魔法。3Blue1Brown（Grant Sanderson）这支《But what is a GPT? | Intro to large language models》之所以值得每个程序员认真看一遍，是因为它把整个大语言模型彻底拆开，告诉你：GPT 不是黑箱，它从头到尾只是一个函数——一个把"一段 token 序列"映射成"下一个 token 概率分布"的可微函数。当你真正理解了这一点，prompt 工程不再是玄学，温度参数不再是旋钮，幻觉也不再是 bug 而是 feature。这篇文章我会在忠实于视频主线的同时，补充它没展开的工程细节，并标注哪些是 Grant 的原话、哪些是我的延伸。
| 项目 | 内容 |
|---|---|
| 视频标题 | But what is a GPT? | Intro to large language models |
| 频道 | 3Blue1Brown（Grant Sanderson） |
| 时长 | 约 20 分钟 |
| 播放量 | 数百万（该频道是数学可视化领域标杆） |
| 核心主题 | 一个 token 序列如何被函数化为"下一个词"的概率 |
视频最反直觉、也最关键的一句话是：别把 GPT 当成"一个会思考的大脑"，把它当成一个函数。 输入是一串 token，输出是词表上每个候选词的概率。仅此而已。
这个函数的全部魔力来自三件事的叠加：一个极其简单的训练目标（预测下一个 token）、一个能被梯度下降优化的可微结构（transformer）、以及天文数字的参数与数据。Grant 反复强调：没有任何"推理引擎"被手工写进去，模型并不知道自己在做翻译还是在写代码——它只是被海量文本逼着学会"在给定上文时，下一个词最可能是什么"。（视频原话与精神）
我的延伸：理解这一点，就理解了为什么"提示词"如此重要。提示词不是在"问问题"，而是在把残差流推到模型内部那个最可能生成你想要答案的子空间。Prompt 工程的本质，是用上下文操纵函数的输入，从而间接操纵输出的概率分布——它不是玄学，是实打实的数学。
视频展示了第一步：文本既不是按字符切，也不是按完整单词切，而是切成 subword token（子词）。每个 token 通过一张嵌入矩阵（embedding matrix）被查表成一个高维向量（比如 GPT-3 是 12288 维），再叠加上位置编码（positional encoding），告诉模型"这个词在第几位"。
Grant 用几何直觉解释：嵌入向量把每个 token 放进一个高维的"语义空间"，方向编码语义，长度/位置编码关系。维度越高，模型能同时分辨的概念越多——这就是它的"思维带宽"。（视频原话）
延伸：为什么维度重要？因为在高维空间里，你能塞下的、彼此正交的"方向"数量也线性增长。词表里几万个 token、语言里无数的概念关系，都要靠这些维度的组合来编码。所以"模型大小"几乎等价于"嵌入维度 × 层数"——这也是为什么 GPT-3 要做到 12288 维、96 层。
这是视频最精彩的部分，也是 transformer 的核心。每个 token 在每一层都会生成三种向量：Query（查询）、Key（键）、Value（值）。注意力的本质是：
Grant 的金句：注意力就像一个可微的数据库查询。 普通数据库是硬查找（命中或不命中），而注意力是软查找——一次查询能同时"分心"地瞥见所有位置。多头注意力（multi-head） 则是让模型同时进行很多种不同理由的"关注"：有的头看语法、有的看指代、有的看常识。（视频原话）
延伸：这正是 transformer 击败 RNN 的根本原因。RNN 必须把历史压缩进一个隐状态、按顺序逐步传递，长程信息必然衰减；注意力则允许任意两个 token 直接对话，路径长度变成 O(1)，所以才能吃下几千甚至上万的上下文。
这是 Grant 在视频里反复强调、却被很多科普省略掉的关键概念，也是理解 transformer 可堆叠、可被"机械可解释性"研究的钥匙。
模型内部有一条贯穿始终的残差流（residual stream）——一个高维向量，像传送带一样从第一层一直流到最后一层。每一个 attention 层、每一个 MLP 层，本质上都只是在做同一件事：从残差流里读信息 → 计算一个修正量 → 把修正量加回残差流。
也就是 stream ← stream + module(stream)。（视频原话与精神）
这条设计有两个深远后果：第一，它让模型可以堆得很深（96 层）而不训练崩溃——梯度能沿着残差通路一路回流；第二，它让"读懂模型"成为可能——后来的 Anthropic 可解释性研究正是沿着残差流去追踪"哪一层把什么事实写了进去"。我的延伸：当你看到"思维链（chain of thought）"有效，本质上就是在让模型把中间推理的 token 也写进残差流，给后面的层更多可读的上下文——这是 CoT 起作用的数学根源。
视频还点出一个常被忽略的分工：如果 attention 负责"在上下文里搬信息"，那么 MLP（多层感知机）负责"记住事实"。Grant 用一种很形象的讲法：MLP 在超大的向量空间里做的，其实是稀疏的 key-value 查找——输入的残差向量当作 key，去匹配它内部存着的大量"知识槽位"，把命中的 value 加回残差流。（视频原话）
延伸：这正是后来"超叠加（superposition）"研究的直觉——模型不会为每个事实预留一个神经元，而是让无数概念重叠地编码在同一组神经元上。这件事的工程含义巨大：fine-tuning 改的主要是 MLP 里的权重（也就是模型的"长期记忆"），而 in-context learning / RAG 改的是输入上下文（也就是模型的"短期工作记忆"）。理解了这个分工，你就明白为什么"想让模型记住公司私有知识"，用 RAG（喂进上下文）通常比全量微调更可控、更便宜、更不容易灾难性遗忘。
视频的最后一段把整个流程收口：最后那个 token 的残差流，被一张 unembedding 矩阵投影回词表维度，得到每个候选词的 logits；再过 softmax，就变成了下一个 token 的概率分布。
然后关键来了——模型并不一定挑概率最高的那个词，而是采样。这里出现了 Grant 对温度（temperature）最清晰的解释：采样前把所有 logits 除以温度 T。T 越小，概率越尖锐，输出越确定（接近贪心解码）；T 越大，分布越平坦，输出越随机、越"有创意"。 再叠加上 top-k / top-p（nucleus sampling）把长尾噪声截掉。（视频原话）
我的延伸：这就是为什么"幻觉"不是 bug 而是 feature 的根源——模型的输出本质是一个概率分布上的采样，它从不"查询事实"，它只是"在统计上最可能接这个词"。当训练分布里没有足够支撑，它照样会自信地采样出一个编造的答案。理解这一点，你做工程时就不会再用"它怎么连这都不知道"去抱怨，而是去设计 RAG、去约束输出格式、去做 verification。
flowchart TD
A["输入文本"] --> B["分词 Tokenization<br/>切成 subword token"]
B --> C["嵌入 Embedding<br/>查表成高维向量 + 位置编码"]
C --> R(("残差流<br/>Residual Stream"))
subgraph BLOCK["Transformer Block × N（如 GPT-3 为 96 层）"]
R -->|读| ATN["多头注意力<br/>Query-Key-Value 软查询"]
ATN -->|加回| R
R -->|读| MLP["MLP 联想记忆<br/>稀疏 key-value 查找"]
MLP -->|加回| R
end
R --> U["Unembedding<br/>投影回词表维度"]
U --> L["Logits"]
L --> S["Softmax / 温度 T / top-p"]
S --> P["下一个 token 的概率分布"]
P --> SM["采样"]
SM --> NT["新 token"]
NT -.自回归地拼回上文.-> A
style R fill:#ffd966,stroke:#b8860b,stroke-width:2px
style BLOCK fill:#eef,stroke:#66c
对开发者来说，这支视频最大的价值不是让你能复现一个 GPT，而是改变你和模型打交道的心智模型。几条可以直接落地的判断：
1. 把 prompt 当成对"输入空间"的操控。 模型是函数，你的提示词是自变量。Few-shot 例子之所以有效，是因为它们把残差流稳定地推向某个子空间；长篇的、矛盾的上下文会"稀释"注意力。所以写 prompt 要追求信息密度高、信号噪声比高，而不是越长越好。
2. RAG 解决"记忆"，fine-tuning 改"记忆"，要分清用哪个。 模型的私有知识需求，绝大多数该用检索增强（把知识塞进上下文，走 attention 的"短期工作记忆"通路），而不是全量微调（改 MLP 的"长期记忆"，贵且易遗忘）。只有当行为风格、领域格式这类"无法靠上下文表达"的东西需要固化时，才上微调。
3. 温度和采样是真正的工程旋钮。 需要确定性、可复现（代码、结构化抽取）就用低温度甚至 temperature=0；需要发散（创意、brainstorm）才调高，并配合 top-p 截尾控制质量。
4. 上下文窗口 = attention 能看到的"历史"。 任何超出窗口的内容模型真的"看不见"。这也是为什么长文档要分块、为什么要把最关键的信息放在窗口末尾附近（近因效应在注意力里是真实存在的）。
5. 幻觉要做工程兜底，而不是指望模型"自律"。 既然输出是概率采样，关键事实就必须用外部验证、工具调用（function calling）、引用溯源来约束。把 LLM 当成"草稿生成器 + 概率引擎"，把确定性交给代码和检索。
GPT 从头到尾只是一个把 token 序列映射成"下一个词概率分布"的可微函数——所有的智能，都从"预测下一个词"这个朴素目标里涌现出来。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 完成摘要
下一步计划（供参考）
youtube_transcript.py wjZofJX0v4M 拉取真实字幕校对。注意事项
wjZofJX0v4M 已由字幕脚本验证为有效视频 ID。[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。