# 注意力神课深读：GPT如何猜中下一词 ## 导语 2026年了，大模型早已塞进我们的搜索引擎、编程助手、客服系统和手机里。但一个尴尬的事实是：十个天天用AI的人里，至少有九个的心智模型是错的——有人把它当全知搜索引擎，有人把它当会撒娇的聊天框，有人笃信“它只是复读机”。心智模型错了，用法就错，判断就错。 这正是我要安利这节课的原因。3Blue1Brown（格兰特·桑德森）的《But what is a GPT? Visual intro to transformers》只有27分钟，却被无数工程师私下称为“大模型第一课”。它做的事情非常狠：把GPT这台黑箱彻底解剖给你看——文字怎么变成数字，注意力怎么让每个词环顾四周，1750亿个参数到底存在哪。看完你会明白，“猜下一个词”这个朴素到近乎敷衍的目标，是如何逼出一个能写代码、能谈判、能推理的系统的。这不是一条新闻课，是一条值得年年回看的解剖课。 ## 视频背景卡片 | 项目 | 内容 | |------|------| | 视频标题 | But what is a GPT? Visual intro to transformers | | 频道 | 3Blue1Brown（Grant Sanderson） | | 发布时间 | 2023年9月 | | 时长 | 约27分钟 | | 播放量 | 超过600万（YouTube公开计数，仍在增长） | | 核心主题 | GPT与Transformer架构的可视化逐层解剖 | ## 核心内容拆解 ### 一、一切从“切碎”开始：文字不是字母，是编号 视频的第一刀，切在“文字”这个你以为最熟悉的东西上。GPT根本不认识字母，它第一步做的是tokenization（分词）：把文本切成一个个小片段（token），每个片段对应词表里的一个编号。视频里以GPT-3为例，词表大约五万个token。常见词是一整块，生僻词会被拆碎——比如"unbelievable"可能被拆成"un"、"believ"、"able"三块（这个具体拆法是我的示例，视频讲解的是拆分机制本身）。 这一刀直接解释了很多名场面。为什么早期模型会栽在“strawberry里有几个r”这种小学生问题上？因为模型看到的根本不是r、s、t这些字母，而是几个冷冰冰的token编号——字母信息在分词这一步就被打包封存了。这是我的延伸：你在对话框里输入的每个字，在模型眼里都是编号序列，它的一切思考都建立在这套编号上。理解这一点，你就理解了大模型“感知世界”的第一道边界。 ### 二、词嵌入：语义变成了几何 token编号本身毫无意义，"1023"和"1024"做邻居不代表含义相近。真正赋予含义的是第二步：embedding（词嵌入）。每个token会被映射成一个12288维的向量——你可以想象成一个有12288根坐标轴的空间里的一个点。 神就神在这：视频用可视化展示，含义相近的词，在这个超高维空间里会彼此靠近；而且“含义”不只体现为位置，还体现为方向。最经典的例子来自更早的word2vec研究：“国王”向量减去“男人”加上“女人”，得到的点会落在“女王”附近——性别、时态、情感，都可能是空间里的某个方向。 我的延伸：这不是诗意的比喻，而是可操作的研究结论。后来确实有机器学习研究者在模型内部找到了类似“拒绝回答”的稳定方向，移动这个方向，模型的拒答倾向会明显变化。语义是几何——这句话是整节课的地基。 ### 三、注意力：让每个词环顾全场 这是2017年那篇《Attention Is All You Need》引入的核心机制，也是视频最精彩的部分。想象一篇文章里的每个词，都带着两样东西进场：一张“名片”（我能提供什么信息）和一个“提问”（我在找什么信息）。注意力机制让每个词去和上下文里所有词“对暗号”——谁的回答和我想要的相关，我就多吸收谁的信息。 比如"it"这个词，模型要判断它指的是前面的“动物”还是“街道”，靠的就是这种全场对暗号。而且GPT-3每一层有96个“注意力头”，各管一摊：有的头盯着语法结构，有的头追踪指代关系，有的头维护语义场。96层堆叠下来，信息被反复提炼。 视频原话的核心是：注意力负责“把上下文里相关的信息搬运到当前词上”。我的延伸更直白一点：注意力机制把“联系上下文”这句口号，第一次变成了一台可以训练的机器。 ### 四、MLP：知识的仓库藏在这里 注意力解决“词与词怎么交流”，但每个词自己还要“消化”——干这个活的是MLP（多层感知机）。视频指出一个容易被忽略的事实：GPT的绝大部分参数不在注意力里，而在MLP里。如果说注意力是车间里传纸条，MLP就是每个工位上那台加工机器——世界知识大多存在这里。 这也是后续那一集《How might LLMs store facts》的主题：模型可能以“键值对”的方式存储事实关联（这是该系列后续视频的研究性讲解，属于学界仍在探索的方向）。我的延伸观点：大模型最常见的失败——一本正经地编造事实（hallucination）——主要和这套机制有关。它在“取出”存储的统计性知识，而不是在“查证”。注意力是沟通，MLP是记忆，两套系统共同构成了Transformer的一个标准层，然后这样的层堆96个。 ### 五、预训练：猜下一词的暴力美学 整个训练目标简单到离谱：给它互联网级别的海量文本，每次遮住下一个词，让它猜。猜错了就微调那1750亿个参数。视频里强调了这个规模的吓人之处——1750亿参数、数万亿词的语料、天文数字的算力。 很多人看到这就 dismiss 了：“所以它只是个高级补全？”视频没有回避这个质疑，但它给出的答案值得每个人细品：**训练目标是简单的，但为了把“猜下一词”猜到极致，模型被迫学出语法、事实、风格乃至推理的内部电路**。你想稳定预测一段对话的下一句，你就得“理解”这段对话——不管这个“理解”和人类的理解多不一样。 我的延伸：这和AlphaGo的故事是同一个哲学——目标函数简单，涌现出的能力复杂。简单的奖励，逼出深刻的策略。这是过去十年AI最反直觉、也最被低估的一条经验。 ### 六、从补全机器到助手：中间隔着一次“改行” 视频后半段讲清了一个多数人从未想过的区别：预训练出来的模型（base model）是个“超级续写器”，你问它“中国的首都是哪里”，它可能回答“这是个常见地理考题，下面我们来看几道例题”——因为网上这种文本太多了，续写它最“顺手”。它压根没有“该回答问题”的概念。 让GPT变成助手，靠的是训练流水线的后半段：先用人工写的高质量问答微调，让模型学会“对话该有的样子”；再用人类反馈强化学习（RLHF），“奖励”人类偏好的回答，惩罚胡编和越界。我的延伸：这套流程也顺便解释了模型的“人格”从哪来——你调教的不只是知识，还有语气、边界和价值观。同一个基座，不同的后训练，就是2026年市面上千姿百态的各家模型。 ### 七、2026年回看：为什么这门老课不过时 有人会问：这是2023年的课，讲的是2020年的GPT-3，今天还适用吗？我的判断：恰恰因为它解剖的是GPT-3，它才是最好的教材——GPT-3的架构细节全部公开，是一具最干净的“教学标本”，而架构的骨架（分词、嵌入、注意力、MLP、预训练、对齐）到2026年依然是主流大模型的底座。 这几年爆火的新东西，都能装进这套框架理解：推理模型让模型在给出答案前先“续写”一长段思考给自己看，本质还是下一词预测，只是多绕了几圈；AI Agent把模型的输出接回输入循环，让补全器一步步调用工具；检索增强（RAG）则是在对话上下文里塞进外部资料，让注意力机制有东西可“对暗号”。27分钟搭起来的心智模型，能解释今天这个领域九成的现象——这就是经典的定义。 ## 知识结构图 ```mermaid flowchart TD A["一段文字输入"] --> B["切碎:分词Token"] B --> C["编号变成向量
嵌入空间"] C --> D["注意力
每个词环顾四周"] D --> E["MLP加工
取出存储的知识"] E --> F["堆叠九十六层
逐层提炼"] F --> G["输出概率表
下一个Token是谁"] G --> H["采样挑一个
拼回去继续"] H --> D G --> I["预训练
海量文本猜下文"] I --> J["微调与人类反馈
学会当助手"] J --> K["你手里的
大模型"] ``` ## 实战启示 **第一，上下文即程序。** 既然模型的一切判断都来自注意力对上下文的扫描，那你给它的上下文就是它的“操作系统”。关键信息要写全、放对位置、必要时重复；这正是RAG有效的原理——不是AI变聪明了，是你给了注意力机制可检索的素材。反之，指望模型“记住你没说的事”，是对机制的误读。 **第二，用对姿势面对幻觉。** 把大模型当成“写作水平顶级、查证习惯为零”的合作者。它不是在撒谎，它是在续写“看起来最像答案的文本”。所以关键事实务必要求附带来源或走外部检索验证；而追问“你确定吗”没用——它只会更流畅地续写一遍自信的版本。 **第三，理解成本曲线。** 注意力让每个词和上下文里所有词交互，这意味着上下文越长、生成越久，计算与费用越高，模型也越容易“顾不过来”。学会裁剪上下文、给长任务分段，既省钱又提质。 最后是认知升级：别再问“AI像不像人”，改问“这个系统的失败模式长什么样”。猜下一词的机器，弱在事实核查，强在模式生成。扬它所长，避它所短，这才是2026年用AI的正确语法。 ## 延伸学习路径 1. **Andrej Karpathy《Let's build GPT: from scratch》+ nanoGPT 项目** —— 前OpenAI/特斯拉大佬带你在两小时里手写一个GPT，代码只有三百行，是这门视觉课的最佳代码续集（github.com/karpathy/nanoGPT）。 2. **Jay Alammar《The Illustrated Transformer》** —— 图解注意力的老牌经典博文，和3B1B视频互为补集（jalammar.github.io）。 3. **3Blue1Brown 神经网络系列后续两集** —— 《Attention in transformers, step-by-step》与《How might LLMs store facts》，把本课的注意力与知识存储讲到矩阵级别。 4. **论文《Attention Is All You Need》（arXiv:1706.03762）** —— 2017年原典，Train Brains必读，读不懂图就回来重看视频。 5. **Andrej Karpathy《Intro to Large Language Models》** —— 一小时演讲，覆盖训练全流程与模型行为学，适合作为本课的宏观总览。 ## 一句话总结 它没有把AI吹成魔法，而是把魔法拆成了12288个方向上的几何——懂了这一课，你和AI的每一次对话都会换一种语法。 ## 参考来源 1. [But what is a GPT? Visual intro to transformers — 3Blue1Brown](https://www.youtube.com/watch?v=zjkBMFhNj_g) — 本文分析的核心视频 2. [3Blue1Brown 神经网络系列合辑](https://www.3blue1brown.com/topics/neural-networks) — 官方课程页，含本课及后续两集 3. [Attention Is All You Need（arXiv:1706.03762）](https://arxiv.org/abs/1706.03762) — Transformer架构原始论文 4. [The Illustrated Transformer — Jay Alammar](https://jalammar.github.io/illustrated-transformer/) — 注意力机制经典图解 5. [nanoGPT — Andrej Karpathy](https://github.com/karpathy/nanoGPT) — 手写GPT的极简开源实现 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。