首页 › tech › GPU不等内存：拆解显卡的并行内核

GPU不等内存：拆解显卡的并行内核

导语

如果今天让你回答"为什么训练一个大模型要烧掉几万张 H100"，十有八九你会说"因为算力大"。这个回答只对了一半。过去十年，AI 的爆炸性增长被简化成了一个词——"算力"，仿佛 GPU 就是一台"更快的 CPU"。但 Branch Education 这条播放量超过 722 万的硬核长视频《How do Graphics Cards Work? Exploring GPU Architecture》用一个 28 分钟的架构巡游，把这件事讲透了：GPU 根本不是"更快的 CPU"，它是一台完全不同的机器，一台用吞吐量换延迟、用海量线程把内存延迟"藏"起来的并行怪兽。

这条视频之所以值得每个技术人认真看一遍，是因为它戳破了一个长期误解。我们习惯用 CPU 的思维去理解 GPU，于是会困惑：为什么单线程性能 GPU 远不如 CPU，却能在 AI 上碾压？为什么显存带宽比浮点峰值更能决定推理速度？为什么 16K 的 register file 比 1MB 的 L2 cache 还重要？这些问题的答案，都藏在 GPU 与 CPU 截然不同的设计哲学里。而理解了这套哲学，你才能真正看懂当下 AI 算力竞赛的本质——它早就不是"谁的晶体管多"，而是"谁更会藏延迟、谁把 HBM 喂得更饱"。

视频背景卡片

项目 内容
视频标题 How do Graphics Cards Work? Exploring GPU Architecture
频道 Branch Education（硬核技术动画频道，约 200 万订阅）
时长 28 分 30 秒
播放量 722 万+（截至检索）
发布 约 2025 年（检索时显示 1 年前）
核心主题 GPU 内部架构与图形流水线原理：从顶点到像素，从 SM 到 SIMT

核心内容拆解

一、CPU 跑得快，GPU 跑得多：两种哲学的分野

【视频核心】视频开篇就点明了最根本的认知纠正：CPU 和 GPU 不是同一类东西的强弱版本，而是两种相反的设计哲学。CPU 是延迟导向（latency-oriented）的——只有几个（8 到 32 个）又宽又复杂的大核心，每个核心都武装到牙齿：巨大的多级缓存、激进的乱序执行（Out-of-Order Execution）、深度分支预测、推测执行。它的目标是让单个线程尽可能快地跑完，哪怕为此砸大量晶体管。GPU 则是吞吐量导向（throughput-oriented）的——它放弃了单线程速度，换来了成千上万个简单的小核心，目标不是"一个任务多快"，而是"单位时间完成多少总任务"。

【延伸分析】这个分野可以用一个比方：CPU 是八辆法拉利，每辆载两人、跑得飞快；GPU 是一千辆公交车，每辆开得慢，但一次能同时运送几万人。对于串行逻辑（操作系统调度、数据库事务），法拉利完胜；对于大规模重复计算（图像里每个像素、神经网络里每个矩阵乘法），公交车碾压。这正是 GPU 注定要统治 AI 的根本原因——深度学习的本质就是海量、规则、可并行的矩阵运算，简直就是为 GPU 量身定做的负载。

二、SIMT：一条指令，管住 32 个线程

【视频核心】视频详细拆解了 NVIDIA 的杀手锏编程/执行模型 SIMT（Single Instruction, Multiple Threads，单指令多线程）。CPU 的多核是 MIMD——每个核心跑自己的程序、自己的指令流。而 GPU 把线程组织成一个个"线程束（Warp，NVIDIA 里是 32 个线程一组，AMD 叫 Wavefront）"，同一个 Warp 里的 32 个线程在同一时刻执行同一条指令，只是处理不同的数据。这本质上是 SIMD（单指令多数据）的一种进化，但对外暴露成"独立的线程"，让程序员更容易写。

【延伸分析】SIMT 是 GPU 效率的灵魂。一条指令解码、调度，就能同时驱动 32 个乘加运算，指令的开销被 32 倍摊薄。但这有一个致命前提——这 32 个线程必须走同一条路。一旦遇到 if/else 分支让 Warp 内部分裂（即所谓的 warp divergence，线程束发散），GPU 就只能把两个分支串行执行，性能直接腰斩。这也是为什么 GPU 程序极其讨厌不规则的分支和数据依赖：并行性是有代价的，它要求所有线程"步调一致"。

三、GPU 不等内存：用线程超额认购藏掉延迟

【视频核心】这是整条视频最反直觉、也最精华的一个洞察：GPU 处理内存延迟的方式，不是让内存变快，而是根本不等它。 CPU 的策略是"等"——靠大缓存把数据缓存住，靠乱序执行把等待时间填满有用的工作。GPU 的策略是"换"——当一个 Warp 因为等显存数据而停顿时，调度器立刻、零成本地切换到另一个就绪的 Warp，让计算单元永远不空转。

【延伸分析】为了支撑这种"随时切换"，GPU 在每个流式多处理器（SM）里塞了一个巨大得离谱的寄存器堆（register file）——动辄 256KB 以上，是 CPU 核心寄存器的几十倍。为什么？因为每个活动 Warp 的寄存器状态都必须同时常驻，切换时不能像 CPU 那样把寄存器存进内存再读回来（那太慢了）。GPU 维持着几十个活动 Warp，当一个在等内存，立刻有几十个排队等着上工。内存延迟高达几百个时钟周期，GPU 硬是用"人多"把它"稀释"成了零。这就是本文标题"GPU 不等内存"的真正含义——它的设计哲学就是"绝不干等，立刻换人"。代价是：如果你喂给 GPU 的并行线程不够多（并行度不足），延迟就藏不住了，GPU 性能会断崖式下跌。

四、图形流水线：GPU 的出身决定了它的骨相

【视频核心】视频花了大量篇幅还原 GPU 的"出厂设置"——图形渲染流水线。一个 3D 场景要变成屏幕上的像素，要经过：顶点获取 → 顶点着色器（Vertex Shader，把 3D 坐标变换到屏幕空间）→ 曲面细分 → 几何着色器 → 光栅化（把三角形"扫描"成像素片段）→ 像素/片段着色器（给每个像素算颜色）→ ROP（输出合并器，处理深度测试、混合）→ 帧缓冲。这条流水线里既有可编程阶段（各种 Shader），也有固定功能硬件（光栅化、ROP），是高度流水线化、大规模并行的。

【延伸分析】理解这条流水线，就理解了为什么 GPU 长成了今天这个样子。一帧 4K 画面有 800 多万像素，每个像素都要独立计算颜色、光照、纹理——这是天然的" embarrassingly parallel"（尴尬并行）负载。GPU 的整个架构就是为了"对海量独立数据做相同运算"而生的。所以当深度学习在 2012 年 AlexNet 横空出世时，研究者们惊喜地发现：神经网络的矩阵乘法，和图形像素的批量计算，在硬件看来是同一件事。 GPU 的图形血统，恰好就是它统治 AI 的基因。

五、流式多处理器 SM：GPU 的最小重复单元

【视频核心】视频把 GPU 拆解到了"细胞"级别——流式多处理器（Streaming Multiprocessor，SM）。一块现代 GPU（比如 H100）就是由几十上百个 SM 拼成的阵列。每个 SM 内部包含：数十个 CUDA 核心（负责 FP32/INT 运算）、若干 Tensor Core（张量核心）、特殊函数单元（SFU，算 sin/exp 等）、加载/存储单元、Warp 调度器与分发单元、巨型寄存器堆，以及 L1 缓存/共享内存。SM 是 GPU 能独立调度、独立执行的最小完整单元。

【延伸分析】把 GPU 理解成"一堆 SM 的复制粘贴"是最准确的模型。这也解释了一个关键工程现象：GPU 的扩展性极强，厂商只要在芯片上多铺几个 SM、提高频率，算力就近似线性增长（这正是英伟达每代"堆 SM"的逻辑）。而共享内存（Shared Memory）是一个被低估的关键设计——它是程序员可控的、低延迟的片上 SRAM，让一个 SM 内的线程块可以高速协作通信，是写高效 GPU kernel（如 FlashAttention）的核心武器。

六、内存墙与 HBM：算力早就过剩，带宽才是天花板

【延伸分析（视频之外的关键补充）】这是本文要为视频补充的最重要的一块——也是理解 2026 年 AI 算力竞赛的钥匙。视频讲清了 GPU"怎么算"，但没有充分点破今天 GPU 的瓶颈早就不是算力，而是喂不饱它的显存带宽。

经典的Roofline 模型（屋顶线模型）揭示了这一点：一个 kernel 的实际性能，取决于它的"算术强度"（Arithmetic Intensity，每搬一字节数据能做多少次浮点运算）。算术强度高的（如大矩阵乘）会被"算力天花板"卡住；算术强度低的（如逐元素激活、加载权重、读 KV cache）则会被"带宽天花板"卡住。而现代大模型推理，绝大多数时间是带宽受限的——你每生成一个 token，都要把几百亿参数从显存搬一遍，浮点单元大部分时间在空转等数据。

这就解释了一个反常识的商业现象：英伟达真正的命脉不是台积电的制程，而是 SK 海力士的 HBM。 HBM（High Bandwidth Memory，高带宽内存）用硅通孔（TSV）把多层 DRAM 芯片 3D 堆叠起来，再用超宽总线（单堆 1024-bit 起，HBM3e 单堆带宽超 1.2 TB/s）与 GPU 直连，把显存带宽堆到几 TB/s 的量级——是普通 GDDR 的好几倍。H100 用 6 堆 HBM3，B200/Rubin 用更猛的 HBM3e/HBM4。谁掌握了 HBM，谁就掌握了 AI 的带宽命门，这也是为什么三星、海力士、美光为 HBM4 产能打得头破血流——因为算力可以靠堆 SM 线性涨，带宽却卡在 3D 堆叠的物理极限上。

七、Tensor Core 与 CUDA：显卡如何变成 AI 引擎

【延伸分析】如果说前六点解释了 GPU"为什么适合并行"，那么最后两点解释了它"如何彻底变成 AI 专用机"。其一是 2017 年 Volta 架构引入的 Tensor Core（张量核心）——一种专为矩阵乘加（D = A×B + C）设计的硬件单元，一次能完成一个小矩阵块（如 16×16×16）的乘加，支持 FP16/BF16/FP8/INT8 甚至 INT4 的低精度。Tensor Core 让 GPU 的 AI 算力相对纯 CUDA 核心又跃升了一个数量级，是 transformer 时代训练能跑起来的直接硬件推手。

其二是更底层的CUDA（2006 年发布）。在 CUDA 之前，GPU 只能用来画图，想用它做通用计算（GPGPU）得把数据伪装成"纹理"、把算法伪装成"着色器"，极其痛苦。CUDA 提供了 C 语言级的编程模型（Grid/Block/Thread 的三层并行），让 GPU 第一次成为"通用并行计算机"。没有 CUDA，就没有后来的深度学习浪潮——AlexNet、TensorFlow、PyTorch 全部建立在 CUDA 之上。这也是英伟达最深的护城河：不是芯片，而是十几年来积累的 CUDA 生态和数百万开发者的迁移成本。

知识结构图

flowchart TB
    subgraph CPU["CPU：延迟导向 Latency-Oriented"]
        C1["少量大核心 8-32 核"]
        C2["大缓存 + 乱序执行 + 分支预测"]
        C3["哲学：单线程跑得越快越好"]
    end
    subgraph GPU["GPU：吞吐量导向 Throughput-Oriented"]
        G1["数千小核心 / 上百个 SM"]
        G2["SIMT：一个 Warp 32 线程同指令"]
        G3["超额认购数千线程 藏掉内存延迟"]
    end
    subgraph SM["流式多处理器 SM（最小重复单元）"]
        S1["CUDA 核心 + Tensor Core"]
        S2["Warp 调度器 + 巨型寄存器堆"]
        S3["L1 / 共享内存 → L2"]
    end
    subgraph PIPE["图形流水线（GPU 出身）"]
        P1["顶点着色 → 光栅化"]
        P2["像素着色 → ROP 合并"]
        P3["天然海量并行 → 契合矩阵运算"]
    end
    subgraph MEM["内存墙与 HBM（今日瓶颈）"]
        M1["算力可线性堆叠"]
        M2["带宽卡在 HBM 3D 堆叠极限"]
        M3["大模型推理多为带宽受限"]
    end
    CPU -.|哲学对立|-> GPU
    GPU --> SM
    GPU --> PIPE
    SM --> MEM
    MEM --> AI["AI 合流：Tensor Core + CUDA 生态<br/>= 英伟达护城河"]

实战启示

看完这条视频，最该升级的不是"GPU 知识"，而是评估 AI 系统性能的思维方式。

第一，别再拿 FLOPS（浮点峰值）当唯一指标。 厂商发布会最爱喊"X PFLOPS"，但对大模型推理而言，峰值算力往往用不满。真正决定吞吐的是显存带宽和算术强度。做技术选型、压测、成本估算时，先问自己："我这个负载是算力受限还是带宽受限？" 用 Roofline 模型画一下，答案往往令人意外——大部分推理场景都是带宽受限。

第二，理解"延迟靠并行度藏"就能看懂一堆工程优化。 为什么推理要凑 batch（批处理）？因为更大的 batch = 更多 Warp = 更高并行度 = 延迟藏得更好 = GPU 利用率更高。为什么 FlashAttention 这么重要？因为它把 attention 的中间矩阵留在共享内存里、减少对 HBM 的读写，直接拉升了算术强度。为什么 KV cache 是推理的隐形杀手？因为它随序列长度线性膨胀，吃掉的恰恰是最稀缺的带宽。这些"为什么"都指向同一个根——GPU 的并行吞吐与内存带宽的博弈。

第三，对芯片产业的投资判断会更清醒。 英伟达的护城河是三层叠加的：底层是 CUDA 生态（十几年开发者绑定）、中层是 GPU+Tensor Core 架构、顶层是 HBM 带宽锁定。其中前两层可被追赶（AMD ROCm、各家自研 ASIC 都在攻），但 HBM 带宽受限于少数存储厂的 3D 堆叠产能，是物理级的瓶颈。这也解释了为什么"内存墙"成了 2026 年 AI 硬件最热的话题——谁能在 HBM 之外找到新路（CXL、存算一体、光互连、更长上下文的稀疏化），谁就可能撬动英伟达的霸权。

第四，对普通开发者：写 GPU 代码（kernel）时，先想"并行度够不够"，再想"显存访问能不能合并（coalesced）"。 这两件事决定了你写的 kernel 是跑出 90% 峰值还是 5%。GPU 编程的本质，就是不断在"算术强度"和"并行度"之间做权衡。

延伸学习路径

  1. 3Blue1Brown《But what is a GPT? / Attention in transformers》 ——从数学直觉理解 transformer，与本视频的硬件视角互补。
  2. Asianometry《The Special Memory Powering the AI Revolution》 ——专讲 HBM 的前世今生，补全本文"内存墙"一节的产业细节。
  3. NVIDIA 官方《CUDA C++ Programming Guide》 中关于 SIMT、Warp、Occupancy（占用率）的章节——把"延迟藏匿"从概念落到代码。
  4. 《计算机体系结构：量化研究方法》（Hennessy & Patterson） ——Roofline 模型的发源地，想彻底搞懂算力与带宽的权衡，这是圣经。
  5. Branch Education 同频道《How do CPUs Work?》 ——看完 GPU 再看 CPU，两种哲学的对比会瞬间通透。

一句话总结

GPU 的强大从来不是"更快"，而是"更多、更并行、更不等内存"——理解了吞吐量与延迟隐藏，你就理解了整个 AI 算力时代的底层逻辑。

参考来源

  1. How do Graphics Cards Work? Exploring GPU Architecture — Branch Education — 本文深度解读的核心视频
  2. The Special Memory Powering the AI Revolution — Asianometry — HBM 与内存墙部分的补充资料
  3. Hennessy & Patterson, Computer Architecture: A Quantitative Approach — Roofline 模型与算力/带宽权衡的理论来源
  4. NVIDIA CUDA C++ Programming Guide（官方文档） — SIMT、Warp、Occupancy 等概念的技术定义来源

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入

📎 本分类最新文章