数据说明（透明性声明）：本次撰写时，文章流水线中的全部联网抓取工具（ducksearch、curl、浏览器、搜索接口）均被运行环境权限系统拒绝，无法实时抓取视频页面。以下播放量等数据为基于截至撰稿时公开资料的历史快照数据，未能实时核验，仅供量级参考；视频标题、频道、发布日期为公开可查的稳定事实。
如果你用过任何 AI 聊天工具，你其实每天都在见证一件事：一台机器在不停地猜下一个词。这个听起来像文字接龙的动作，为什么能写出代码、翻译语言、解数学题？3Blue1Brown（格兰特·桑德森）的《But what is a GPT? Visual intro to transformers》（深度学习系列第 5 章）是全网把这个问题讲得最清楚的一条视频——它不堆公式、不喊口号，而是用标志性的动画把“大语言模型生成一句话”的每一步拆到像素级。本文带你逐段吸收这条视频的知识内核：分词、嵌入、注意力、softmax、温度采样，再往深处挖一层——这些设计背后有哪些真实论文与工程实践，哪些说法证据扎实、哪些只是漂亮的类比，以及你能把哪些理解直接用到日常使用和调参里。
| 项目 | 内容 |
|---|---|
| 视频标题 | But what is a GPT? Visual intro to transformers, Deep learning chapter 5（中文可译：GPT 到底是什么？Transformer 可视化入门） |
| 频道 | 3Blue1Brown（主持人 Grant Sanderson，数学可视化频道） |
| 发布时间 | 2023 年 10 月（据频道页面历史数据） |
| 播放量 | 数百万级，是该系列播放量最高的一期之一（据频道页面历史数据，未实时核验） |
| 所属系列 | Deep Learning（神经网络深度学习系列），第 5 章 |
这条视频的特殊价值在于卡位：在它之前，讲神经网络的可视化课程不少，讲 ChatGPT 新闻解读的视频更多，但把“一个 GPT 从读到一句话到吐出下一个词”的全过程、每一层数据形态都画出来的，几乎没有。它也因此成为无数工程师向非技术同事解释大模型时的“默认引用”。
桑德森的叙事有一个精心设计的钩子，值得先点出来：他不从“AI 很聪明”讲起，而从“AI 在做一件极其机械的事”讲起。整条视频的论证就是不断回答同一个问题的更深层版本——“模型此刻手里拿着什么、正在算什么”。按视频叙事顺序，可以拆成五个要点。
视频开场直接给出定义：GPT 是 Generative Pre-trained Transformer（生成式预训练变换器）的缩写，它做的事用一句话说完——给定一段文本，输出下一个 token 的概率分布。生成一整段回答，只是把这个“预测一步”的动作循环执行：把新生成的 token 拼回输入，再预测，再拼接。
桑德森特意强调了这个反差感：如此朴素的目标（文字接龙），凭什么涌现出写代码、做推理的能力？视频不急着回答，而是先带你看清每一步的数据形态——这个“先看清、再惊叹”的顺序本身就是这条视频区别于新闻解读类视频的方法论。
第一个技术环节是分词（tokenization）。模型读到的不是字母，也不是完整的单词，而是 token：高频词往往一个词一个 token，低频词会被拆成片段（比如一个较长英文单词可能被拆成两三个子词），标点和空格也有自己的 token。
为什么这么设计？视频给出的是工程直觉：如果按字母切，序列太长、每一步承载的信息太稀；如果按整词切，词表会爆炸且无法处理生僻词和拼写变体。子词切分是折中——这与 GPT 系列实际使用的 BPE（字节对编码）类算法一致。视频还点出一个用户最该知道的细节：模型看不见“拼写”，只看见 token 编号。这就是为什么问“strawberry 里有几个 r”这类问题模型容易翻车——字母层面的信息在分词这一步就被压扁了。
这是全视频最精彩的部分。每个 token 编号会被映射成一个高维向量（以 GPT-3 为例是 12288 维），这个过程叫嵌入（embedding）。
桑德森没有停留在“向量就是一串数字”的层面，而是抛出嵌入空间的灵魂问题：这个空间里的“方向”有意义吗？ 他引用了词嵌入研究中最著名的现象——经典类比关系：king − man + woman ≈ queen。语义关系（性别、时态、单复数、国别）在这个空间里对应稳定的方向。这个发现最早来自 2013 年 Mikolov 等人的 word2vec 工作，视频把它继承过来，告诉观众：模型不是在“查表”，而是在一个语义几何里做运算。
更进一步，视频指出大模型里的嵌入还是上下文相关的：同一个 token（比如多义词）在不同句子里会被赋予不同的向量表示。让向量“因上下文而变”的机制，就是下一节的主角。
视频对注意力（attention）的讲解刻意保持了克制的篇幅，因为它把细节留给了系列第 6 章。但在本章里，注意力被赋予了准确的功能性定义：
视频用了一个非常effective的可视化：让问句里的词与相关实体之间连出注意力连线。观众由此能直观理解上下文窗口（context window）的物理含义——模型能“看到”的 token 范围，也就是注意力能够往返交互的舞台大小。
走完层层变换后，向量已经浓缩了整段上下文的信息。最后一步是解嵌入（unembedding）：把这个向量与词表中每个 token 的代表向量做比较，得到几万到十几万个分数；再经过 softmax 归一化，变成一个合法的概率分布——所有可能下一个 token 的概率加起来等于 1。
然后是普通用户最有感知的部分：温度（temperature）。温度为 0，永远取最高概率的 token，输出稳定但刻板；温度调高，概率分布被“抹平”，低概率词获得更多出场机会，输出更多样但更容易跑偏。视频把这个旋钮讲成了“模型的创造力刻度盘”，这也是全文最实用的一节——因为它直接对应你在任何大模型产品里能调的那个参数。
视频结尾抛出而非回答的问题，恰是整个领域的深层谜题：为了把下一词预测做好，模型被迫在参数中学到语法、事实、甚至推理模式。后续章节（以及 Ilya Sutskever 等人主张的“压缩即智能”视角）把这称为通向能力的必经之路。桑德森把这个问题留成开放式结尾——这也是我下面批判性审查要接住的一个点。
这条视频的每个环节都能对应到真实的研究谱系，这也是它值得精读的原因。逐一对账：
看完视频不等于看完真相。以下逐条标注证据强度。
证据扎实的部分：token 的存在与 BPE 机制、嵌入维度（12288 对 GPT-3）、softmax 输出概率分布、温度参数的作用方式——这些全部有论文或官方文档背书，是可以放心引用的硬知识。king − man + woman ≈ queen 的类比现象本身也确凿存在（word2vec 论文报告了实验结果）。
教学简化，需知情的部分：第一，视频把注意力讲成“词与词连线”，真实实现是查询/键/值三组矩阵的批量运算，连线图只保留了语义功能、丢掉了实现细节（视频自己也在结尾承认，并预告第 6 章补全——这是诚实的简化）。第二，king − man + woman ≈ queen 在 word2vec 这种静态嵌入中是稳定现象，但不能直接外推到现代大模型：后续可解释性研究（如 Anthropic 2023 年的 superposition/叠加假设工作）发现真实模型的一个维度会混合大量特征、一个特征会散布在多个维度，语义方向远比类比游戏复杂。视频用它是为了建立直觉，读者不应把它当成现代模型的精确描述。
存在争议、被讲到边界的部分：“预测下一词就能涌现智能”是视频留下的开放式暗示，这里恰恰是学界争论最激烈的地带。一方（Sutskever、Karpathy 等）认为下一词预测在数据足够丰富时必然逼迫模型学习世界模型；另一方（如 Yann LeCun 的部分论述）认为自回归预测的结构性缺陷（误差累积、缺乏目标规划）会封住能力上限。视频没有站队，这是它的克制，但也意味着观众不该把它当成“下一词预测=智能”的证明——它是一条方法论上极其干净的教学片，不是立场宣言。
另外提一个视频限于篇幅未展开的实用真相：温度采样之外，当代产品普遍叠加 top-p（核采样）等截断策略，且不同产品对“temperature=0”的实现也有差异（残余的非确定性来自工程层面）。把视频里的“创造力旋钮”理解为概念模型即可，别当成各平台参数的精确语义。
启示一：用“下一词预测”框架重新理解 AI 的所有怪癖。 学完这条视频，很多现象从神秘变成必然：模型编造文献（幻觉）是因为它在做的是“概率上合理的续写”而非“检索数据库”；数不清单词里的字母是因为分词在字母之上；对话到一半“忘事”是因为上下文窗口有限。下次遇到模型的离谱输出，先问一句：站在“预测下一个 token”的位置上，这个错误是不是结构性的？ 这个框架能帮你快速区分“该换模型”和“该换提问方式”。
启示二：把温度从玄学变成工程参数。 理解了“温度是概率分布的抹平系数”，你就能建立自己的调参策略：要稳定的代码、抽取、分类任务，用低温度；要头脑风暴、文案发散，才用高温度——并且知道高温度的风险不是“更笨”，而是“低概率错误词更多”。这一条可以直接用于几乎所有大模型 API 与产品的参数设置。
启示三：想真正吃透，就去把视频换成代码过一遍。 视频给了几何直觉，补齐实感的最佳路径是 Karpathy 的从零构建 GPT 课程——在一个字符级小语料上亲手写出分词、嵌入、注意力、softmax，你会对“12288 维”这类数字产生体感。三小时的手写，胜过十遍的重看。
flowchart TD
A[输入文本] --> B[分词 BPE<br/>切成 token 序列]
B --> C[嵌入查询<br/>每个 token 变为高维向量]
C --> D[注意力块<br/>词与词交换信息]
D --> E[MLP 块<br/>逐层加工深化理解]
E --> F{堆叠数十层<br/>向量越来越抽象}
F --> G[解嵌入<br/>对词表逐个打分]
G --> H[softmax<br/>变成概率分布]
H --> I{温度采样}
I -->|低温| J[选最高概率<br/>稳定刻板]
I -->|高温| K[分布被抹平<br/>多样易偏]
J --> L[新 token 拼回输入]
K --> L
L --> B
这张图也是整条视频的骨架：外圈循环就是“文字接龙”的字面实现——理解了这个循环里每一步的数据形态，你就理解了 GPT 的一半；另一半（注意力矩阵内部如何算）留给系列第 6 章，也正是你去重看视频时最值得带着的那个问题。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。