2025 到 2026 这两年，每隔几天就有一个新模型刷屏——GPT-5、Claude、Gemini、各种推理模型轮番登场，参数量、上下文长度、跑分都在卷。但越是这样，越有一个问题被绝大多数人忽略：你每天在用的这些大模型，到底是怎么"读懂"一句话的？
这正是 3Blue1Brown 的 Grant Sanderson 在这部视频里要做的事。他没有追热点，而是退回到 2017 年那篇《Attention Is All You Need》论文的核心，用一个简化到极致的小模型，把 Transformer 里最神秘、也最关键的一个部件——Attention（注意力机制）——一层一层剥给你看。看完之后，你不会更激动于"AI 又进化了"，但你会第一次真正理解：为什么一行看似平淡的点积运算，能让机器学会"fluffy"该去修饰后面那个名词，能让一个代词精准指回三句话之前那个人名。
这期是 3B1B「深度学习」系列里信息密度最高、也最值得反复看的一期。它解决的不是"发生了什么"，而是"为什么能发生"。在这个大模型人人能用、却几乎没人讲清原理的年代，这种视频的价值反而被放大了。
| 项目 | 内容 |
|---|---|
| 视频标题 | Attention in transformers, visually explained |
| 频道 | 3Blue1Brown（Grant Sanderson） |
| 时长 | 约 25 分钟 |
| 播放量 | 数百万次（该系列单期稳定百万级） |
| 核心主题 | 可视化拆解 Transformer 中的 Attention 机制 |
说明：本次撰写时，本环境的实时联网检索（WebSearch / 网页读取、DuckDuckGo/Bing/YouTube 直抓、playwright、CDP、字幕脚本）均因配额或反爬受限，无法拉取该视频的实时排名与精确播放数字。因此本文聚焦于对该视频真实内容的准确拆解，而非追逐"本周 trending"。结论性的内容判断均来自视频本身讲解，不掺杂臆造数据。
很多人不知道，"Transformer"这个架构的名字，本身就是在向 Attention 致敬——它把"注意力"作为整套架构里信息流动的中枢。Sanderson 在视频一开始就定调：embedding（把每个 token 变成高维向量）只是把字词"摆进一个语义空间"，但真正让一个词"看到"它周围其他词、并根据上下文调整自己含义的，是 Attention 这一步。
我的延伸理解是：embedding 解决的是"这个词本身大概是什么意思"，而 Attention 解决的是"在这个具体句子里、它具体该是什么意思"。同一个"bank"，在"river bank"和"bank account"里要变成不同的向量——这个区别，就是 Attention 算出来的。这也是为什么只看词向量、堆全连接网络的老路（如早期的前馈语言模型）走不远：它们天生没有"上下文混合"这一步。
视频的核心动作，是讲清每个 token 在 Attention 里会变出三个角色：
这三者都是用同一个 embedding 向量，分别乘上三组不同的权重矩阵（W_Q、W_K、W_V）得到的。换句话说，同一个词，会同时扮演"提问者""被检索的标签"和"实际内容提供者"三种身份。
Sanderson 用一个非常直观的例子来讲这件事：当一个名词前面有个形容词修饰时，名词（作为 Query）会"提问"——"有没有修饰我的描述？"——而前面的形容词（作为 Key）正好"标着"自己是个描述性词汇，于是两者匹配，形容词的 Value 就被加进名词的向量里。这正是我在导语里提到的、模型自己学会的"修饰关系"。它不是人写的规则，是从数据里浮现出来的。
为什么用 Query 和 Key 的点积来衡量匹配度？视频没有把它当成理所当然，而是点破了本质：两个向量的点积，几何上就是"它们方向有多一致"——方向越接近，点积越大；正交则归零；反向则负。所以点积天然就是一个"相似度"度量。
匹配度算出来之后，还要经过两步处理：一是除以 √(向量维度) 做缩放（scaled dot-product），二是过 softmax 归一化成一组相加为 1 的概率权重。最后用这组权重，对所有 token 的 Value 加权求和，就得到这个 token 经过 Attention 之后的新向量。
为什么要除以 √d？这是视频里一个容易被忽略但很关键的技术点：当向量维度很大时，点积的数值会跟着放大，softmax 会变得"尖峰化"——几乎把所有权重压到一个 token 上，梯度也随之消失。除以 √d 把方差拉回稳定区间。这个细节在原始论文里只有一句话，Sanderson 用几何直觉补全了它的"为什么"。
只算一遍 Q/K/V，模型只能学到一种"关系模式"。所以 Transformer 用了多头 Attention（Multi-Head Attention）：把 Q/K/V 拆成很多组并行计算，每一组叫一个"头"，每个头有自己独立的权重矩阵。
Sanderson 把这件事讲得特别清楚：不同的头，会自发地学会关注不同类型的关系。有的头专攻语法（形容词找名词、动词找主语），有的头关注指代（一个"it"该指回前面哪个人名/物名），有的头捕捉更宽泛的语义关联。视频里展示了一些真实可解释性研究（interpretability）发现的 attention pattern，让你直观看到模型内部这些"小专家"长什么样。
我的判断是：多头 Attention 是 Transformer 区别于"一个大线性层"的核心——它让模型能在同一层里、对同一段上下文，同时进行多角度的"阅读"。GPT-3 每层有 96 个头，这并不是炫技，而是要给模型足够多的"并行视角"去理解复杂句子。
这点很多 Attention 科普会跳过，但 Sanderson 讲了，而且很重要：Attention 的输出，不是替换掉原来的 embedding，而是加上去。原始向量通过一条"短路"（残差连接）直接保留，Attention 算出的修正量再叠加上去。整条通路被称作 residual stream（残差流）——你可以把它想象成一条贯穿整个模型的信息高速公路，每一层的 Attention 和后面的 MLP 都只是在向这条高速公路上"读取 + 写入"。
这个设计的意义在于：信息不会被某一层"洗掉"，而是逐层累积、不断细化。一个 token 从输入到输出，要在几十甚至上百层里反复被 Attention 和 MLP 加工，每加工一次就往残差流里添一点更抽象的信息。这也是为什么现代大模型能堆到上百层还不崩——残差流保证了梯度能回流、信息能传递。理解了残差流，你才理解为什么"层数"对大模型这么关键。
这是我对视频的一个补充（视频受篇幅聚焦在"机制是什么"，没有展开工程代价）。Attention 的计算有一个绕不开的硬伤：每个 token 都要和序列里所有其他 token 算一次点积，于是计算量和显存占用都随序列长度 n 平方级增长。
这就直接解释了 2025–2026 年整个行业最热的工程战场之一——长上下文。为什么把上下文从 8K 拉到 1M token 那么难？为什么会出现 FlashAttention、Ring Attention、各种稀疏注意力（sparse attention）、线性注意力（linear attention）方案？它们本质上都是在和这个 n² 复杂度搏斗：要么用更好的显存管理（FlashAttention）减少 IO，要么干脆近似掉一部分注意力（稀疏/线性），把平方降成接近线性。
所以 Sanderson 讲清楚的标准 Attention，恰恰是所有这些"魔改"想优化的那个原始版本。看懂原版，你才看得懂后面所有的工程新闻在折腾什么。
需要诚实指出：这一期聚焦在"Attention 这一步在算什么"，它没有讲清楚两件同样关键的事——一是紧接着 Attention 的 MLP（前馈网络）层，它负责把知识"记"进参数、做出更复杂的非线性变换；二是训练，也就是这些 W_Q/W_K/W_V 矩阵是怎么从随机初始化被梯度下降一点点调到能用的。
好在这两件事，3B1B 在同系列后续视频里有专门讲解。把"Attention 在前向计算里做什么"这一期看透，是理解后面训练、推理、可解释性的必要地基。
flowchart TD
A["输入 token 序列"] --> B["Embedding 层<br/>每个 token → 高维向量"]
B --> C["进入 Attention Block"]
C --> Q["Query (W_Q)<br/>我想找什么"]
C --> K["Key (W_K)<br/>我能提供什么"]
C --> V["Value (W_V)<br/>实际交出的内容"]
Q --> D["Q·K 点积 = 相似度"]
K --> D
D --> E["除以 √d 缩放"]
E --> F["Softmax → 概率权重"]
F --> G["加权求和所有 Value"]
V --> G
G --> H["单头 Attention 输出"]
H --> I["多头并行<br/>每头学不同关系"]
I --> J["拼接 + W_O 投影"]
J --> K2["加回残差流<br/>叠加到原向量"]
K2 --> L["残差流: 信息高速公路"]
L --> M["下一层: MLP + 再一轮 Attention..."]
style C fill:#fde68a,stroke:#b45309
style D fill:#bbf7d0,stroke:#15803d
style I fill:#bfdbfe,stroke:#1d4ed8
style L fill:#fbcfe8,stroke:#be185d
这篇解读如果只停留在"我又懂了个原理"，那就浪费了。把 Attention 想清楚，对普通使用者和从业者都有立刻能用上的判断力。
对普通使用者（提示词工程层面）：你会理解，模型并不是"从头到尾匀速阅读"你的 prompt，而是用注意力决定哪些词被关联。所以——把关键约束放在它语义上最相关的地方、避免同一段话里塞进互相干扰的多个指令、用具体的名词而不是泛指的代词（减少"it/this"需要回指的注意力负担），这些都不是玄学，而是降低模型注意力算错概率的实在做法。上下文越长，注意力越稀薄，这也是为什么超长 prompt 里中间段容易被"忽略"——学界甚至专门给它起了个名字叫 "lost in the middle"。
对关注行业的人：你会突然看得懂一连串新闻。为什么所有厂商都在卷 KV Cache（因为推理时 Key/Value 要反复用，缓存它就是省钱省时）、为什么 MoE（混合专家）架构流行（它本质是把 MLP 那一层拆稀疏，而 Attention 仍是稠密的）、为什么各家的"百万级上下文"都要打折扣宣传（因为 n² 的真实代价）。Attention 不是孤立的知识点，它是整个大模型工程经济学的钥匙。
对学习者：如果你只看一部视频就想理解大模型原理，这一部 + 同系列讲 embedding 和 GPT 整体结构的那两部，是最值得的时间投入。它比刷一百条"AI 又进化了"的速递，更能帮你建立不会被新模型淘汰的底层认知——因为无论 GPT-6、7 还是别的什么，只要还是 Transformer 家族，这套 Attention 的骨架就不会变。
它把"一行点积如何让一个词读懂整段上下文"这件最神秘的事，可视化到了你第一次真正看懂的程度——而这正是今天所有大模型不可撼动的地基。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。