# GPU不等内存：拆解显卡的并行内核 ## 导语 如果今天让你回答"为什么训练一个大模型要烧掉几万张 H100"，十有八九你会说"因为算力大"。这个回答只对了一半。过去十年，AI 的爆炸性增长被简化成了一个词——"算力"，仿佛 GPU 就是一台"更快的 CPU"。但 Branch Education 这条播放量超过 722 万的硬核长视频《How do Graphics Cards Work? Exploring GPU Architecture》用一个 28 分钟的架构巡游，把这件事讲透了：**GPU 根本不是"更快的 CPU"，它是一台完全不同的机器，一台用吞吐量换延迟、用海量线程把内存延迟"藏"起来的并行怪兽。** 这条视频之所以值得每个技术人认真看一遍，是因为它戳破了一个长期误解。我们习惯用 CPU 的思维去理解 GPU，于是会困惑：为什么单线程性能 GPU 远不如 CPU，却能在 AI 上碾压？为什么显存带宽比浮点峰值更能决定推理速度？为什么 16K 的 register file 比 1MB 的 L2 cache 还重要？这些问题的答案，都藏在 GPU 与 CPU 截然不同的设计哲学里。而理解了这套哲学，你才能真正看懂当下 AI 算力竞赛的本质——它早就不是"谁的晶体管多"，而是"谁更会藏延迟、谁把 HBM 喂得更饱"。 ## 视频背景卡片 | 项目 | 内容 | |------|------| | 视频标题 | How do Graphics Cards Work? Exploring GPU Architecture | | 频道 | Branch Education（硬核技术动画频道，约 200 万订阅） | | 时长 | 28 分 30 秒 | | 播放量 | 722 万+（截至检索） | | 发布 | 约 2025 年（检索时显示 1 年前） | | 核心主题 | GPU 内部架构与图形流水线原理：从顶点到像素，从 SM 到 SIMT | ## 核心内容拆解 ### 一、CPU 跑得快，GPU 跑得多：两种哲学的分野 【视频核心】视频开篇就点明了最根本的认知纠正：CPU 和 GPU 不是同一类东西的强弱版本，而是两种相反的设计哲学。CPU 是**延迟导向（latency-oriented）**的——只有几个（8 到 32 个）又宽又复杂的大核心，每个核心都武装到牙齿：巨大的多级缓存、激进的乱序执行（Out-of-Order Execution）、深度分支预测、推测执行。它的目标是让**单个线程尽可能快地跑完**，哪怕为此砸大量晶体管。GPU 则是**吞吐量导向（throughput-oriented）**的——它放弃了单线程速度，换来了成千上万个简单的小核心，目标不是"一个任务多快"，而是"单位时间完成多少总任务"。 【延伸分析】这个分野可以用一个比方：CPU 是八辆法拉利，每辆载两人、跑得飞快；GPU 是一千辆公交车，每辆开得慢，但一次能同时运送几万人。对于串行逻辑（操作系统调度、数据库事务），法拉利完胜；对于大规模重复计算（图像里每个像素、神经网络里每个矩阵乘法），公交车碾压。这正是 GPU 注定要统治 AI 的根本原因——深度学习的本质就是海量、规则、可并行的矩阵运算，简直就是为 GPU 量身定做的负载。 ### 二、SIMT：一条指令，管住 32 个线程 【视频核心】视频详细拆解了 NVIDIA 的杀手锏编程/执行模型 **SIMT（Single Instruction, Multiple Threads，单指令多线程）**。CPU 的多核是 MIMD——每个核心跑自己的程序、自己的指令流。而 GPU 把线程组织成一个个"线程束（Warp，NVIDIA 里是 32 个线程一组，AMD 叫 Wavefront）"，**同一个 Warp 里的 32 个线程在同一时刻执行同一条指令，只是处理不同的数据**。这本质上是 SIMD（单指令多数据）的一种进化，但对外暴露成"独立的线程"，让程序员更容易写。 【延伸分析】SIMT 是 GPU 效率的灵魂。一条指令解码、调度，就能同时驱动 32 个乘加运算，指令的开销被 32 倍摊薄。但这有一个致命前提——这 32 个线程必须走同一条路。一旦遇到 `if/else` 分支让 Warp 内部分裂（即所谓的 warp divergence，线程束发散），GPU 就只能把两个分支串行执行，性能直接腰斩。这也是为什么 GPU 程序极其讨厌不规则的分支和数据依赖：并行性是有代价的，它要求所有线程"步调一致"。 ### 三、GPU 不等内存：用线程超额认购藏掉延迟 【视频核心】这是整条视频最反直觉、也最精华的一个洞察：**GPU 处理内存延迟的方式，不是让内存变快，而是根本不等它。** CPU 的策略是"等"——靠大缓存把数据缓存住，靠乱序执行把等待时间填满有用的工作。GPU 的策略是"换"——当一个 Warp 因为等显存数据而停顿时，调度器**立刻、零成本地切换到另一个就绪的 Warp**，让计算单元永远不空转。 【延伸分析】为了支撑这种"随时切换"，GPU 在每个流式多处理器（SM）里塞了一个巨大得离谱的寄存器堆（register file）——动辄 256KB 以上，是 CPU 核心寄存器的几十倍。为什么？因为每个活动 Warp 的寄存器状态都必须**同时常驻**，切换时不能像 CPU 那样把寄存器存进内存再读回来（那太慢了）。GPU 维持着几十个活动 Warp，当一个在等内存，立刻有几十个排队等着上工。内存延迟高达几百个时钟周期，GPU 硬是用"人多"把它"稀释"成了零。这就是本文标题"GPU 不等内存"的真正含义——它的设计哲学就是"绝不干等，立刻换人"。代价是：如果你喂给 GPU 的并行线程不够多（并行度不足），延迟就藏不住了，GPU 性能会断崖式下跌。 ### 四、图形流水线：GPU 的出身决定了它的骨相 【视频核心】视频花了大量篇幅还原 GPU 的"出厂设置"——图形渲染流水线。一个 3D 场景要变成屏幕上的像素，要经过：顶点获取 → 顶点着色器（Vertex Shader，把 3D 坐标变换到屏幕空间）→ 曲面细分 → 几何着色器 → 光栅化（把三角形"扫描"成像素片段）→ 像素/片段着色器（给每个像素算颜色）→ ROP（输出合并器，处理深度测试、混合）→ 帧缓冲。这条流水线里既有**可编程阶段**（各种 Shader），也有**固定功能硬件**（光栅化、ROP），是高度流水线化、大规模并行的。 【延伸分析】理解这条流水线，就理解了为什么 GPU 长成了今天这个样子。一帧 4K 画面有 800 多万像素，每个像素都要独立计算颜色、光照、纹理——这是天然的" embarrassingly parallel"（尴尬并行）负载。GPU 的整个架构就是为了"对海量独立数据做相同运算"而生的。所以当深度学习在 2012 年 AlexNet 横空出世时，研究者们惊喜地发现：**神经网络的矩阵乘法，和图形像素的批量计算，在硬件看来是同一件事。** GPU 的图形血统，恰好就是它统治 AI 的基因。 ### 五、流式多处理器 SM：GPU 的最小重复单元 【视频核心】视频把 GPU 拆解到了"细胞"级别——**流式多处理器（Streaming Multiprocessor，SM）**。一块现代 GPU（比如 H100）就是由几十上百个 SM 拼成的阵列。每个 SM 内部包含：数十个 CUDA 核心（负责 FP32/INT 运算）、若干 Tensor Core（张量核心）、特殊函数单元（SFU，算 sin/exp 等）、加载/存储单元、Warp 调度器与分发单元、巨型寄存器堆，以及 L1 缓存/共享内存。SM 是 GPU 能独立调度、独立执行的最小完整单元。 【延伸分析】把 GPU 理解成"一堆 SM 的复制粘贴"是最准确的模型。这也解释了一个关键工程现象：GPU 的扩展性极强，厂商只要在芯片上多铺几个 SM、提高频率，算力就近似线性增长（这正是英伟达每代"堆 SM"的逻辑）。而共享内存（Shared Memory）是一个被低估的关键设计——它是程序员可控的、低延迟的片上 SRAM，让一个 SM 内的线程块可以高速协作通信，是写高效 GPU kernel（如 FlashAttention）的核心武器。 ### 六、内存墙与 HBM：算力早就过剩，带宽才是天花板 【延伸分析（视频之外的关键补充）】这是本文要为视频补充的最重要的一块——也是理解 2026 年 AI 算力竞赛的钥匙。视频讲清了 GPU"怎么算"，但没有充分点破**今天 GPU 的瓶颈早就不是算力，而是喂不饱它的显存带宽**。 经典的**Roofline 模型（屋顶线模型）**揭示了这一点：一个 kernel 的实际性能，取决于它的"算术强度"（Arithmetic Intensity，每搬一字节数据能做多少次浮点运算）。算术强度高的（如大矩阵乘）会被"算力天花板"卡住；算术强度低的（如逐元素激活、加载权重、读 KV cache）则会被"带宽天花板"卡住。而现代大模型推理，绝大多数时间是**带宽受限**的——你每生成一个 token，都要把几百亿参数从显存搬一遍，浮点单元大部分时间在空转等数据。 这就解释了一个反常识的商业现象：**英伟达真正的命脉不是台积电的制程，而是 SK 海力士的 HBM。** HBM（High Bandwidth Memory，高带宽内存）用硅通孔（TSV）把多层 DRAM 芯片 3D 堆叠起来，再用超宽总线（单堆 1024-bit 起，HBM3e 单堆带宽超 1.2 TB/s）与 GPU 直连，把显存带宽堆到几 TB/s 的量级——是普通 GDDR 的好几倍。H100 用 6 堆 HBM3，B200/Rubin 用更猛的 HBM3e/HBM4。**谁掌握了 HBM，谁就掌握了 AI 的带宽命门**，这也是为什么三星、海力士、美光为 HBM4 产能打得头破血流——因为算力可以靠堆 SM 线性涨，带宽却卡在 3D 堆叠的物理极限上。 ### 七、Tensor Core 与 CUDA：显卡如何变成 AI 引擎 【延伸分析】如果说前六点解释了 GPU"为什么适合并行"，那么最后两点解释了它"如何彻底变成 AI 专用机"。其一是 2017 年 Volta 架构引入的 **Tensor Core（张量核心）**——一种专为矩阵乘加（D = A×B + C）设计的硬件单元，一次能完成一个小矩阵块（如 16×16×16）的乘加，支持 FP16/BF16/FP8/INT8 甚至 INT4 的低精度。Tensor Core 让 GPU 的 AI 算力相对纯 CUDA 核心又跃升了一个数量级，是 transformer 时代训练能跑起来的直接硬件推手。 其二是更底层的**CUDA（2006 年发布）**。在 CUDA 之前，GPU 只能用来画图，想用它做通用计算（GPGPU）得把数据伪装成"纹理"、把算法伪装成"着色器"，极其痛苦。CUDA 提供了 C 语言级的编程模型（Grid/Block/Thread 的三层并行），让 GPU 第一次成为"通用并行计算机"。**没有 CUDA，就没有后来的深度学习浪潮**——AlexNet、TensorFlow、PyTorch 全部建立在 CUDA 之上。这也是英伟达最深的护城河：不是芯片，而是十几年来积累的 CUDA 生态和数百万开发者的迁移成本。 ## 知识结构图 ```text flowchart TB subgraph CPU["CPU：延迟导向 Latency-Oriented"] C1["少量大核心 8-32 核"] C2["大缓存 + 乱序执行 + 分支预测"] C3["哲学：单线程跑得越快越好"] end subgraph GPU["GPU：吞吐量导向 Throughput-Oriented"] G1["数千小核心 / 上百个 SM"] G2["SIMT：一个 Warp 32 线程同指令"] G3["超额认购数千线程 藏掉内存延迟"] end subgraph SM["流式多处理器 SM（最小重复单元）"] S1["CUDA 核心 + Tensor Core"] S2["Warp 调度器 + 巨型寄存器堆"] S3["L1 / 共享内存 → L2"] end subgraph PIPE["图形流水线（GPU 出身）"] P1["顶点着色 → 光栅化"] P2["像素着色 → ROP 合并"] P3["天然海量并行 → 契合矩阵运算"] end subgraph MEM["内存墙与 HBM（今日瓶颈）"] M1["算力可线性堆叠"] M2["带宽卡在 HBM 3D 堆叠极限"] M3["大模型推理多为带宽受限"] end CPU -.|哲学对立|-> GPU GPU --> SM GPU --> PIPE SM --> MEM MEM --> AI["AI 合流：Tensor Core + CUDA 生态
= 英伟达护城河"] ``` ## 实战启示 看完这条视频，最该升级的不是"GPU 知识"，而是**评估 AI 系统性能的思维方式**。 **第一，别再拿 FLOPS（浮点峰值）当唯一指标。** 厂商发布会最爱喊"X PFLOPS"，但对大模型推理而言，峰值算力往往用不满。真正决定吞吐的是**显存带宽**和**算术强度**。做技术选型、压测、成本估算时，先问自己："我这个负载是算力受限还是带宽受限？" 用 Roofline 模型画一下，答案往往令人意外——大部分推理场景都是带宽受限。 **第二，理解"延迟靠并行度藏"就能看懂一堆工程优化。** 为什么推理要凑 batch（批处理）？因为更大的 batch = 更多 Warp = 更高并行度 = 延迟藏得更好 = GPU 利用率更高。为什么 FlashAttention 这么重要？因为它把 attention 的中间矩阵留在共享内存里、减少对 HBM 的读写，直接拉升了算术强度。为什么 KV cache 是推理的隐形杀手？因为它随序列长度线性膨胀，吃掉的恰恰是最稀缺的带宽。这些"为什么"都指向同一个根——GPU 的并行吞吐与内存带宽的博弈。 **第三，对芯片产业的投资判断会更清醒。** 英伟达的护城河是三层叠加的：底层是 CUDA 生态（十几年开发者绑定）、中层是 GPU+Tensor Core 架构、顶层是 HBM 带宽锁定。其中前两层可被追赶（AMD ROCm、各家自研 ASIC 都在攻），但 HBM 带宽受限于少数存储厂的 3D 堆叠产能，是物理级的瓶颈。这也解释了为什么"内存墙"成了 2026 年 AI 硬件最热的话题——谁能在 HBM 之外找到新路（CXL、存算一体、光互连、更长上下文的稀疏化），谁就可能撬动英伟达的霸权。 **第四，对普通开发者：写 GPU 代码（kernel）时，先想"并行度够不够"，再想"显存访问能不能合并（coalesced）"。** 这两件事决定了你写的 kernel 是跑出 90% 峰值还是 5%。GPU 编程的本质，就是不断在"算术强度"和"并行度"之间做权衡。 ## 延伸学习路径 1. **3Blue1Brown《But what is a GPT? / Attention in transformers》** ——从数学直觉理解 transformer，与本视频的硬件视角互补。 2. **Asianometry《The Special Memory Powering the AI Revolution》** ——专讲 HBM 的前世今生，补全本文"内存墙"一节的产业细节。 3. **NVIDIA 官方《CUDA C++ Programming Guide》** 中关于 SIMT、Warp、Occupancy（占用率）的章节——把"延迟藏匿"从概念落到代码。 4. **《计算机体系结构：量化研究方法》（Hennessy & Patterson）** ——Roofline 模型的发源地，想彻底搞懂算力与带宽的权衡，这是圣经。 5. **Branch Education 同频道《How do CPUs Work?》** ——看完 GPU 再看 CPU，两种哲学的对比会瞬间通透。 ## 一句话总结 GPU 的强大从来不是"更快"，而是"更多、更并行、更不等内存"——理解了吞吐量与延迟隐藏，你就理解了整个 AI 算力时代的底层逻辑。 ## 参考来源 1. [How do Graphics Cards Work? Exploring GPU Architecture — Branch Education](https://www.youtube.com/watch?v=h9Z4oGN89MU) — 本文深度解读的核心视频 3. [The Special Memory Powering the AI Revolution — Asianometry](https://www.youtube.com/watch?v=yAw63F1W_Us) — HBM 与内存墙部分的补充资料 4. Hennessy & Patterson, *Computer Architecture: A Quantitative Approach* — Roofline 模型与算力/带宽权衡的理论来源 5. NVIDIA CUDA C++ Programming Guide（官方文档） — SIMT、Warp、Occupancy 等概念的技术定义来源 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。