2022年底ChatGPT引爆大模型热潮之后，一个此前只属于游戏玩家的硬件突然成了全球最稀缺的战略资源：GPU。英伟达在2025年7月成为人类历史上第一家市值突破4万亿美元的公司，几乎所有AI新闻的背后，都站着同一块“游戏显卡”。Veritasium（真理元素）2023年发布的《How do Graphics Cards Work?》正是把这个故事讲得最透彻的一条视频：它从“游戏为什么卡”这个最朴素的疑问出发，一路讲清了GPU的架构哲学、渲染流水线、显存带宽瓶颈，最后落到Tensor Core与深度学习的历史性汇合。本文带你逐层拆解这条视频的论证结构，补上它没来得及展开的理论溯源，并指出哪些说法站得住、哪些被简化了——读完你对“算力”这件事的理解，会超过大多数只看新闻标题的人。
| 项目 | 内容 |
|---|---|
| 视频标题 | How do Graphics Cards Work?（显卡是如何工作的） |
| 频道 | Veritasium |
| 频道主 | Derek Muller，物理教育学博士，YouTube 顶级科普频道主 |
| 发布时间 | 2023年10月（据频道页面，未能实时核验） |
| 播放量 | 数百万级（据频道页面，未能实时核验，故省略精确值） |
| 主题 | GPU 并行架构、渲染流水线、AI 算力 |
数据说明：本文写作环境未开放实时网络抓取权限，无法当场核验该视频页面的播放量等易变数据，为避免编造，此类数据以约数标注并注明未核验；视频标题、频道与下文涉及的研究、人物、年份均为公开资料中长期稳定的信息。文中参考来源链接均指向频道页、官方页面与稳定的维基条目，不提供无法核验的具体视频ID链接。
视频从一个所有人都体感过的现象切入：游戏画面每秒要画几十帧，每一帧涉及数百万像素的颜色计算，为什么普通电脑会卡成幻灯片？这个钩子的巧妙之处在于，它把观众的痛点直接对准了计算机体系结构里最根本的矛盾——计算任务的形状。画一屏画面，本质上是“对几百万个互不相干的像素做同一种运算”，这种任务的形状是宽而浅的；而“根据上一帧的物理状态推算下一帧”，任务的形状是窄而深的。视频的全部论证，都建立在这个“任务形状决定处理器形状”的核心直觉上。
这是视频的知识主体之一。CPU 的设计哲学是把单个任务尽快做完：巨大的缓存、复杂的分支预测、乱序执行，一切都是为了把内存访问延迟藏起来，让一个线程跑得飞快。GPU 走的是完全相反的路：既然我同时有一百万个像素要算，我根本不在乎某一个像素晚几纳秒出来，我在乎的是每一秒总共能涌出多少结果——吞吐优先。
于是 GPU 把晶体管预算花在与 CPU 相反的地方：缓存和控制逻辑压缩到最小，省下来的面积全部堆成算术单元。一颗消费级显卡上号称有几千上万个“核心”，视频用这个数量级对比给出了直观冲击：CPU 是几位教授各带一个小团队做难题，GPU 是几万名工人同时搬砖。
视频讲得最精彩的一个机制是 latency hiding（延迟隐藏）。GPU 上千个线程被编成小组（NVIDIA 的术语叫 warp，一组32个线程），硬件调度器在某一组线程因为等内存数据而停摆时，瞬间切换到另一组早已就绪的线程继续算。它不消除延迟，而是用海量并行的“排队人数”把延迟淹没。这解释了一个反直觉的事实：GPU 的单个核心慢得可怜、频率比 CPU 低得多，但整体吞吐却能把 CPU 甩开一个数量级。这不是一个核心的胜利，是调度结构的胜利。
回到游戏场景，视频顺着一条真实显卡执行的流水线讲解：顶点着色（把三维空间里的几何点投影变换到屏幕坐标）→ 光栅化（判断每个三角形覆盖了哪些像素）→ 片元着色（为每个被覆盖的像素算出最终颜色，纹理采样、光照模型都在这一步）。关键洞察是：这三段中的每一段，对海量数据单元执行的几乎是同一段程序——这正是 SIMD/SIMT（单指令多数据） 的教科书场景。你看到的游戏世界，本质上是每秒钟上万亿次“同一段小程序 × 不同数据”的并行执行，骗过了人类的眼睛。
视频的收尾把叙事推向高潮：神经网络训练的核心运算就是大规模矩阵乘法，而矩阵乘法恰恰是“同一段乘加指令 × 海量不同数据”的终极 SIMD 任务——GPU 为游戏进化出的身体，恰好长了 AI 需要的灵魂。NVIDIA 更进一步，在2017年的 Volta 架构中加入了专做矩阵乘法的 Tensor Core，从此“游戏公司”变成了“AI 基础设施公司”。视频在这里点出了整条故事线最深的护城河：不是硬件本身，而是2007年起铺了快二十年的 CUDA 软件生态。
这条视频的每一环，都能对应到计算机科学里真实的人物与文献，这也是它值得精读的原因。
弗林分类法（Flynn's Taxonomy）。视频里“单指令多数据”的框架来自斯坦福的 Michael J. Flynn 在1966年提出的计算机体系结构分类（SISD/SIMD/MISD/MIMD），至今仍是体系结构课程的通用语言。GPU 是 SIMD 思想在消费硬件上的最大规模实现。
阿姆达尔定律（Amdahl's Law）。 Gene Amdahl 在1967年提出的这条定律指出：并行化的加速比受限于程序中必须串行的部分——如果你的算法有10%串行，那么一万核也只能加速到10倍附近。它为视频里“GPU 不是万能”的暗线提供了数学根基。
GeForce 256 与“GPU”一词的发明。1999年10月，NVIDIA（1993年由黄仁勋、Chris Malachowsky、Curtis Priem 创立）发布 GeForce 256，营销上首次使用"Graphics Processing Unit"这个词，卖点是硬件级变换与光照（T&L）。“GPU”从一开始就是营销词，后来变成了行业术语。
Ian Buck 与 CUDA。 CUDA 的前身是 Ian Buck 在斯坦福开发的 BrookGPU 项目（其论文《Brook for GPUs: Stream Computing on Graphics Hardware》发表于 SIGGRAPH 2004）。他2004年加入 NVIDIA 后主导把“用类 C 语言写 GPU”变成产品，CUDA 于2006年底随 G80 架构（GeForce 8800）亮相、2007年全面落地。视频结尾强调的生态护城河，源头就是这个人。
AlexNet 时刻。 2012年，Alex Krizhevsky、Ilya Sutskever、Geoffrey Hinton 的 AlexNet 用两块 GTX 580 显卡训练，在 ImageNet 大赛上把 top-5 错误率从约26%打到约15.3%，震惊学界。这是“游戏显卡点燃深度学习革命”最常被引用的实证起点，也是视频叙事的题眼。
Tensor Core 与混合精度。 2017年 Volta 架构引入 Tensor Core，执行 FP16 乘法、FP32 累加的混合精度运算。配套的《Mixed Precision Training》（Paulius Micikevicius 等，ICLR 2018）证明低精度训练在大多数任务上不损精度，为后续 FP8、FP4 的激进路线开了闸门。
内存墙与 Roofline 模型。 视频反复强调“显存带宽才是瓶颈”，其学理表述是“Memory Wall”问题，以及2009年伯克利团队（Samuel Williams、Andrew Waterman、David Patterson）提出的 Roofline 模型：一个程序的性能上限，取决于它的计算强度（每字节数据撑起多少次运算）落在“算力墙”还是“带宽墙”之下。GDDR 与 HBM（SK海力士2013年量产，2015年 AMD Fiji 首次用于消费卡）的军备竞赛，都是围绕这堵墙展开的。
站得住的部分：CPU 与 GPU 的设计分野、SIMT 执行模型、延迟隐藏机制、渲染流水线、AlexNet 作为 AI 拐点——这些全是体系结构领域的成熟共识，有大量公开架构白皮书与文献支撑。视频在事实层面没有硬伤。
需要打折扣的部分：
第一，“几千个核心”是口径游戏。GPU 的"CUDA core"只是算术流水线级部件，没有 CPU 核心的独立控制与缓存，两者不可直接比数。NVIDIA 自己在数据中心显卡（如 V100/A100）的架构图里反而标注“XX个 Tensor Core、XXX个 CUDA core”，营销数字听个响就好。不过并行度存在数量级差异这件事本身是真的。
第二，“GPU 赢了”叙事偏乐观，ASIC 的挑战被略过。视频把 Tensor Core 讲成终局，但业界的真实走向是分化：推理侧有 Google TPU（Norman Jouppi 等人2017年发表 ISCA 论文）、AWS Trainium/Inferentia、Groq 的 LPU、Cerebras 的晶圆级芯片。历史上比特币挖矿从 GPU 迁移到 ASIC 只用了两年——只要任务形状固定且规模够大，通用并行机就会被专用芯片蚕食。GPU 目前的统治力，一半来自架构适配，一半来自 CUDA 生态锁定和供不应求的商业现实，视频对后者着墨不足。
第三，“GPU 靠并行就不用缓存”容易引起误解。延迟隐藏是真实机制，但新一代 GPU 的缓存反而在疯狂变大：RTX 40系列把 L2 缓存加到72MB，AMD 用 Infinity Cache（128MB 级）在游戏显卡上堆容量。缓存回归说明“带宽墙”远未解决，而是被多条腿走路。把它听成“GPU 不需要好缓存”就跑偏了。
第四，SIMT 的暗面被一笔带过。如果并行线程在 if/else 上走向不同分支（branch divergence），GPU 的效率会断崖式下跌；加上阿姆达尔定律的串行上限，大量真实程序（数据库、编译器、高频交易）依然只能活在 CPU 上。视频作为科普不可能展开，但读者应该带着这个保留意见离开。
第五，低精度计算是否有长期代价仍无定论。混合精度训练已是被广泛接受的实践，但 FP8/FP4 训练对模型质量的影响在研究社区仍有讨论，属于“工程上在冲、学理上有争议”的地带。
1. 用“三问”判断你的问题能不能 GPU 加速。拿到任何计算任务，先问三件事：数据单元之间是否独立（可并行）？控制流是否整齐（SIMT 友好，少分支发散）？内存访问是否连续（coalesced，带宽友好）？三问过关后，再用 Roofline 模型的思路估算你的计算强度：算得狠搬得少→吃算力，搬得勤算得轻→吃带宽。这一套思考五分钟就能做完，却能避免绝大多数“听说 GPU 快就硬上”的弯路。
2. 本地跑大模型，先看显存容量与带宽，别只看 TFLOPS。自回归生成是逐 token 解码，每生成一个字都要把模型权重在显存里过一遍，所以显存容量决定“能不能装下”，带宽大致决定“每秒吐几个字”，而算力峰值（TFLOPS）此时反而不是首要矛盾。这也是为什么消费级显卡上“大显存版本”总被开发者抢购。理解了这一点，你看懂了社区里“量化到 4-bit 才塞得进”的全部逻辑。
3. 把并行思维内化成编程直觉。写任何循环之前先想一句：相邻迭代能否同时执行、相邻访问是否落在连续内存？想通了这个，NumPy 向量化、PyTorch 的广播运算、SQL 的集合操作，在你眼里都是同一件事的不同包装——把循环交给运行时的并行形状，而不是亲手写下 for 循环。这是从“会调 API”到“懂计算机”的一条最短路径。
最后是认知层面的收获：理解了 GPU 的故事，你就有了看懂“算力新闻学”的解码器——市值狂欢、芯片管制、供不应求，背后全是同一句话：谁能高效地并行执行矩阵乘法，谁就扼住了这个时代的咽喉。这不是玄学，是一条从1966年的分类法、2004年的一篇论文、2012年的两块游戏显卡一路走来的工程史。
flowchart TD
A["观众痛点：游戏与AI都卡"] --> B["第一问：像素为什么算不过来"]
B --> C["渲染流水线"]
C --> D["顶点着色"]
C --> E["光栅化"]
C --> F["片元着色"]
B --> G["答案：并行化"]
G --> H["CPU：延迟优先"]
G --> I["GPU：吞吐优先"]
I --> J["SIMD 千核同一指令"]
I --> K["延迟隐藏：切换warp"]
A --> L["第二问：AI为什么需要GPU"]
L --> M["神经网络=矩阵乘法风暴"]
M --> N["Tensor Core 专用通路"]
L --> O["CUDA 软件护城河"]
O --> P["AlexNet 2012 引爆点"]
P --> Q["结论：算力生态决定胜负"]
J --> Q
K --> Q
N --> Q
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。