“大模型到底是怎么工作的？”这个问题，过去几年被无数文章、访谈和发布会绕来绕去，但真正能让人一次听懂的，是3Blue1Brown的《But what is a GPT? Visual intro to transformers》——深度学习系列第五章。这条视频用动画把GPT从“下一个词预测”讲到embedding高维空间，再到注意力机制与96层堆叠，被大量开发者与研究者公认为大模型可视化教学的天花板。本文把它拆开揉碎：视频讲了什么、每个动画背后对应哪篇真实论文、哪些是教学简化、哪些说法需要警惕，以及你能带走的三条可操作认知。没看过视频也能读懂，看过视频的人会多懂一层。
| 项目 | 内容 |
|---|---|
| 视频标题 | But what is a GPT? Visual intro to transformers（中文圈常译作《到底什么是GPT？Transformer可视化入门》） |
| 作者/出镜 | Grant Sanderson（斯坦福数学系出身，曾任Khan Academy讲师） |
| 所属频道 | 3Blue1Brown（全球顶流数学可视化频道） |
| 所属系列 | 深度学习系列第五章；该系列前四章（神经网络、梯度下降、反向传播）于2017年发布，2023年11月起重启并续写大模型主题 |
| 演示对象 | OpenAI Playground中的GPT-3（davinci系列模型） |
| 时长 | 约27分钟 |
| 热度 | 大模型科普类视频中被引用与推荐最多的单集之一，长期居该频道单集热度前列；各平台转载累计播放以百万计 |
数据说明：标题、作者、频道、发布时间（2023年11月）为多年稳定的公开信息；本文写作环境的实时联网与抓取通道受限，播放量等动态数据未能当场核实，精确数字请以视频页为准。
整条视频的叙事是一条严丝合缝的推理链：先让你接受“GPT在做一件极简单的事”，再一层层展开这件简单的事为何能长出智能的样子。按顺序拆成五个要点。
Grant开场就把GPT的定义压到最简：它是一个“下一个词预测器”。你在OpenAI Playground里输入一段话，模型做的事情只有一件——给词表里每个可能的下一个词打一个概率，然后按概率采样，把新词拼回输入，再预测再一个词，如此循环。视频里最反直觉、也最关键的一句话是：模型每次只输出一个词，从来不会“一次想好一整段”。你在屏幕上看到的长文，是一个词一个词滚雪球滚出来的。这个“自回归生成”的设定是后面一切能力与缺陷的总根源。
接下来是全片最漂亮的动画：文字如何变成数字。每个token（分词后的词片）被映射成一个高维向量——在GPT-3里是12,288维。视频用三维空间示意这个高维空间：语义相近的词聚在一起，而更妙的是，词与词之间的“方向”有意义。经典例子是 king - man + woman ≈ queen：从男人指向女人的那个方向向量，加到国王身上，落点接近女王。Grant的动画把这个抽象结果变成了肉眼可见的几何直觉——词义不再是一串字符，而是高维空间里的一组坐标与方向。
文本变向量之后，是矩阵乘法的世界。GPT-3有约1750亿个参数，本质上是1750亿个可调节的数字，分布在层层叠叠的矩阵里：输入端有embedding矩阵，输出端有unembedding矩阵，中间每层有两块“积木”各自的权重。视频展示了每一步无非是“向量乘矩阵加偏置再过激活函数”，单步毫无神秘感；神秘感在于1750亿个旋钮经过训练后集体处在了某个精妙的位置。这一节还讲了softmax：把模型给全词表的原始打分变成一组加起来等于1的概率，并现场拖动“温度”滑块，展示温度低时分布尖锐（总选最稳的词）、温度高时分布平坦（冷门词也有机会）。
每一层Transformer由两块积木组成。注意力块（attention）负责“上下文整合”：让每个词的向量根据周围词更新自己——同一个"bank"，在“河岸”和“银行”两种语境里，经过注意力计算后会走向向量空间的不同位置；多层感知机块（MLP）则像是模型的“联想与事实存储”，对每个位置做一次非线性的加工与放大。GPT-3把这套“注意力+MLP”堆了96层，一层层提炼越来越抽象的语言特征。视频明确交代：这两块积木具体各自“记住”了什么，是开放的研究问题——它没有假装我们全都懂了。
结尾回答了一个观众必然要问的问题：一个“补全器”为什么会像聊天助手？答案是三段式训练。预训练：在海量互联网文本上做下一词预测，把语言规律压进参数；微调：用人工撰写的高质量问答数据教它对话的形式；人类反馈强化学习（RLHF）：让人类对多个回答排序，训练奖励模型，再用强化学习把模型行为推向“人类更喜欢”的方向。视频用它收束全片：我们理解的不是“GPT在想什么”，而是“GPT是怎么被造出来的”——前者至今无人完全清楚。
这条视频最硬的品格是：没有一个动画是编出来的比喻，全都有可考的学术出处。
Transformer架构：整条视频的地基是2017年Google团队的论文《Attention Is All You Need》（Vaswani、Shazeer、Parmar等人，NeurIPS 2017）。这篇论文提出完全基于注意力的序列处理架构，抛弃了此前的循环网络。“Attention is all you need”这个标题在视频里被具象化：注意力块确实承担了序列中信息流动的主干。顺带一提，原始论文是为机器翻译设计的encoder-decoder架构，而GPT用的是其中的decoder-only变体——这是视频没有明说、但值得知道的一层。
词向量与方向算术：king - man + woman ≈ queen 并非视频原创，它出自Google团队Tomas Mikolov等人2013年的word2vec系列论文（《Efficient Estimation of Word Representations in Vector Space》及其后续工作）。当年这个结果震动了NLP界，第一次大规模证明“语义可以被几何化”。视频把十二年前的成果原样搬进高维动画，是典型的“老理论、新直觉”教学。
GPT谱系：视频演示的GPT-3有据可查——OpenAI 2020年论文《Language Models are Few-Shot Learners》（Brown等人），1750亿参数、96层、12,288维词向量、2048 token上下文窗口，与视频中的数字一一对应。往前追溯，GPT-1（Radford等人，2018）确立了“生成式预训练+下游微调”范式；GPT-2（2019）证明了零样本任务的可行性。
分词（BPE）：视频里单词被切成彩色词片，背后是字节对编码（Byte-Pair Encoding），原为Sennrich等人2016年为机器翻译提出的子词切分方法（论文《Neural Machine Translation of Rare Words with Subword Units》），后被GPT系列沿用为标准分词方案。
RLHF：结尾的“人类反馈训练”对应OpenAI 2022年的InstructGPT论文（Ouyang等人，《Training language models to follow instructions with human feedback》）——正是这条技术路线把GPT-3变成了后来的ChatGPT。
温度的出身：softmax里的温度参数是个漂亮的知识彩蛋。它借自统计力学——Boltzmann分布里温度控制系统的有序与混乱；机器学习里它的成名之战是Hinton等人2015年的知识蒸馏论文（温度缩放让软标签可蒸馏）。所以“温度低更确定、温度高更发散”不是拍脑袋的UI设计，而是有物理直觉背书的数学操作。
规模定律：为什么大家愿意堆1750亿参数？背景板是OpenAI的scaling laws研究（Kaplan等人，2020）与DeepMind后来修正的Chinchilla论文（Hoffmann等人，2022）：在一定范围内，模型性能随参数、数据、算力按可预测的幂律提升。这解释了视频里那片“参数海洋”为何值得。
证据充分的部分：视频中所有数字（12,288维、96层、1750亿参数）与GPT-3论文完全一致；注意力与MLP的两块积木划分、自回归生成循环、softmax采样，都是对真实计算过程的忠实简化。在“可视化是否失真”这个科普老问题上，这条视频堪称标杆——它几乎没有为了戏剧效果牺牲准确性。
被剪裁或简化的部分，有三处值得较真。其一，方向算术是近似不是定律。king - man + woman ≈ queen在word2vec时代成立得相当干净，但现代大模型的embedding空间并不“整洁”：Anthropic 2022年的《Toy Models of Superposition》（Elhage等人）表明，模型为了容量会把远多于维数的特征叠加进同一个高维空间，词义方向之间存在干涉与噪声。视频的几何直觉是对的，但真实空间比动画里“混乱”得多。其二，注意力动画是隐喻。“词义在高维空间里流动、汇聚”很美，但真实计算里没有任何东西在流动——只有标准的矩阵乘法与加权求和。这是必要的教学牺牲，看视频时要心里有数。其三，tokenization的坑没展开：模型眼里没有字母只有token，这正是早期大模型做不了“把strawberry里的r数出来”、做不好反写字与超长数字运算的根源。视频提了分词，但没有点破这个坑——它其实是理解大模型“某些方面莫名笨”的一把钥匙。
争议地带：“它只是下一词预测，谈不上理解”是视频结尾留下的开放问题，也是学界真打起来的战场。批评方以Bender与Gebru等人2021年的《On the Dangers of Stochastic Parrots》为代表，主张“随机鹦鹉”只是统计模仿；研究方则以两项著名工作反击：Kenneth Li等人2023年的Othello-GPT研究表明，仅为预测棋步而训练的模型内部自发形成了完整的棋盘世界表征；Anthropic 2022年的induction heads研究（Olsson等人）发现注意力头会形成“复制前文模式”的电路，被认为是上下文学习能力的机制基础。为了预测而被迫理解——这可能是大模型最深刻的性质，而视频只是轻轻带过。
时效性说明：视频制作于2023年11月，演示对象是GPT-3。此后发生的事情——多模态、推理模型（思维链的长推理）、专家混合架构（MoE）、百万级上下文——视频均未涉及。但值得注意的是主干未变：今天所有主流大模型依然是“decoder-only Transformer + 注意力 + MLP堆叠 + 下一词预测”这套骨架。这条视频没有过时，它讲的是仍在服役的底盘。
第一，把温度旋钮用成生产力工具。 看懂softmax与温度的机制后，别再把所有请求都用默认设置跑：写代码、抽取信息、事实问答这类任务，把温度调低（0到0.3），输出更稳定、幻觉更少；头脑风暴、起标题、创意写作，把温度调高（0.8到1.2），分布更平坦，冷门词才有机会被采样到。同一个模型、同一个提示词，温度不同就是两个员工——这是视频里最容易直接变现的知识点。
第二，用“下一词预测器”的心智模型反推提示词写法。 模型每个字都是在你给的条件分布里采出来的。这解释了三个日常现象：给一两个示例（few-shot）之所以立竿见影，是因为你在改变条件分布，让“好回答”变成高概率词；要求“先列提纲再展开”之所以有效，是因为模型是自回归的——前文的质量约束着后文的概率；幻觉之所以“一本正经”，是因为每一步它选的都是局部最可能的词，而局部最优串起来完全可能是全局错误。明白了机制，你对它的信任与怀疑都会有的放矢。
第三，搭一条“动画→图解→代码”的三级学习火箭。 想真正吃透大模型，按这个顺序走最省力：先看这条视频建立几何直觉；再读Jay Alammar的《The Illustrated Transformer》逐个公式补细节；最后上手Andrej Karpathy的《Let's build GPT》公开课，从零写一个迷你GPT。三级走完，你对“参数”的理解会从名词变成动词——这个方法也适用于其他硬核领域：先直觉、再精确、再动手，别反过来。
flowchart TD
A["输入文本"] --> B["BPE分词：切成token词片"]
B --> C["Embedding：每个token变12288维向量"]
C --> L0["堆叠96层Transformer块"]
subgraph BLK["每一层：两块积木"]
L1["注意力块：词义随上下文流动更新"] --> L2["MLP块：事实与模式的联想加工"]
end
L0 -.-> BLK
L0 --> E["Unembedding：向量映射为全词表得分"]
E --> F["Softmax：得分变概率分布"]
F --> T{"温度旋钮控制采样"}
T -->|"新token拼回输入，循环往复"| C
P1["预训练：海量文本+下一词预测"] -.压入语言规律.-> L0
P2["微调+RLHF：从补全器到助手"] -.对齐行为.-> L0
K1["word2vec方向算术<br/>Mikolov 2013"] -.溯源.-> C
K2["Attention Is All You Need<br/>Vaswani 2017"] -.溯源.-> BLK
K3["GPT-3论文<br/>Brown 2020"] -.溯源.-> L0
说明：以下均为长期稳定的一手来源链接；本次写作环境的实时联网与抓取通道受限，未能当场复核页面内容与动态数据（如播放量），请以链接页面为准。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。