首页 › programming › 数据库内核拆解:七强精读

数据库内核拆解:七强精读

当所有人都在讨论"用哪个数据库"时,真正的工程师在追问"数据库是如何工作的"。2026 年,随着 DuckDB 1.5 把 ClickHouse 级别的 OLAP 能力塞进进程内、DDIA 第二版为 AI 与云原生架构彻底重写、PostgreSQL 18 巩固"赢了 API 战争"的地位——数据库内核知识正从"DBA 专属"变成"全栈工程师的必修课"。本期精选 7 个把数据库"拆给你看"的顶级频道/系列,从学院派研究前沿到手搓存储引擎,从源码级单库解剖到体系化原则,构建一张可落地的数据库内核学习地图。

一、本期概述

本期聚焦 programming 分类下最硬核、却长期被普通开发者回避的子领域——数据库内核(Database Internals)与存储引擎。

核心发现有三:

  1. 学习资源已完成"分层化"。从 100 秒入门(Fireship)到研究生级前沿课(CMU),从体系化原则(DDIA)到逐行源码(Arpit Bhayani),不同水平的人都能找到对位的入口,不必再啃砖头教科书。
  2. 2026 年最大的范式故事是"分析引擎下沉"。DuckDB 把列存 + 向量化执行 + Morsel 驱动并行塞进一个嵌入式库,让"在 Python 进程里跑十亿行分析"成为现实;而 DuckLake 1.0 把它升级成新一代湖仓表格式。这条主线贯穿了 CMU 高级课、Fireship 速览与多篇 2026 深度文。
  3. "手搓一个数据库"成为新型教学范式。Blackbored 等频道从零实现存储引擎,把 B-tree、WAL、页布局这些抽象概念变成可运行的代码——这与近期"从零实现编译器/CLI"的浪潮一脉相承。

二、七强对比总览

频道 / 系列 风格定位 核心内容 难度 适合人群
CMU Database Group(Andy Pavlo) 学院派 / 研究前沿 高级数据库系统、DuckDB 内核、查询优化 ★★★★★ 算法/系统方向工程师、想做 DB 研发者
Hussein Nasser 协议级 / 工程实战 ACID、WAL、索引、复制、HTTP/gRPC ★★★☆☆ 后端工程师、想搞懂"为什么慢"的人
Arpit Bhayani(Asli Engineering) 源码级 / 单库深挖 PostgreSQL/MySQL 连接模型、锁、MVCC ★★★★☆ 中高级后端、系统设计面试者
Martin Kleppmann(DDIA 2E) 原则层 / 体系化 LSM vs B-tree、复制、分区、一致性 ★★★★☆ 架构师、分布式系统学习者
Blackbored(Japhet Obala) 从零手搓 / 代码驱动 亲手实现存储引擎 ★★★☆☆ 喜欢动手、想祛魅内核的开发者
Fireship 极速 / 生态速览 DuckDB 100 秒、技术雷达 ★★☆☆☆ 所有人(入门与保持技术敏锐)
DuckDB 生态专题 案例研究 / 现代分析引擎 向量化执行、列存、DuckLake ★★★★☆ 数据工程师、数据科学家

三、七强深度解读

1. CMU Database Group(Andy Pavlo)—— 学院派的天花板

频道:CMU Database Group 代表作:Advanced Database Systems(15-721),含 "DuckDB Embedded Database System" 整章

Andy Pavlo 是卡内基梅隆大学的数据库教授,他的课程被业内公认为"全球最好的免费数据库内核教材"。其 Advanced Database Systems 系列直接把当年最热的系统(DuckDB、ClickHouse、Peloton)拆成讲座——其中 "S2024 #20 - DuckDB Embedded Database System" 一讲,从嵌入式架构讲到向量化执行,被 DuckDB 官方推特专门转发背书。

关键洞察:Pavlo 的独特价值在于他不止讲"是什么",更讲"为什么工业界选了这条路"。例如他会用基准数据对比 B-tree 与 LSM-tree 的写放大,解释为何不同负载需要不同存储结构。他的查询优化章节(基于代价的优化器 CBO)几乎是市面上最系统的免费资料。

实用价值:面试顶级公司的数据库/存储岗位、设计自研存储引擎、读懂 SIGMOD/VLDB 论文。适合人群:有扎实基础、目标是数据库研发或系统方向研究生的工程师。

2. Hussein Nasser —— 把协议和 ACID 讲成人话

频道:@hnasr 代表作:Database Engineering 播放列表

Hussein Nasser 是后端工程领域的顶级教育者,他的 Database Engineering 系列从 ACID 事务、内存数据库、索引一直讲到 WAL、复制与协议。他的风格是"工程实战 + 手绘板书 + 极少废话",喜欢用一个具体的网络包或一行日志把抽象概念钉死。

关键洞察:他最有价值的内容集中在"协议与机制"层——WAL(预写日志)如何保证持久性、2PL 与 MVCC 如何权衡并发、HTTP/2 与 gRPC 如何影响数据库连接。这些恰好是普通教程最薄弱、却最能解释"生产环境为什么慢/为什么锁"的部分。

实用价值:排查线上锁等待与死锁、理解复制延迟根因、为系统设计面试补足数据库底座。适合人群:写过 CRUD 但想升级到"懂底层"的后端工程师。

3. Arpit Bhayani(Asli Engineering)—— 源码级的单库解剖刀

频道:Arpit Bhayani(约 21 万订阅) 代表作:PostgreSQL and MySQL Internals 播放列表

Arpit Bhayani 是前 Amazon、独立教育者,他的 Asli Engineering 频道专攻"把一个系统讲到源码级"。其 PostgreSQL/MySQL 内核系列已有 25+ 期,逐层拆解连接管理、进程模型、锁、MVCC、缓冲池——例如"PostgreSQL 连接管理与每客户端进程模型"一期,把 Postgres 的 fork-per-connection 架构讲得清清楚楚。

关键洞察:他的方法论是"单库深挖到底"。不泛泛对比,而是真正钻进一个系统的设计决策:为什么 Postgres 用多进程而非多线程?为什么 MySQL 的 InnoDB 这么设计缓冲池?这种深度对系统设计面试和自研选型极其有用。

实用价值:技术面试中讲清楚"数据库为什么这么实现"、为选型提供源码级依据、培养"读源码"的工程肌肉。适合人群:中高级后端、准备系统设计面试的工程师。

4. Martin Kleppmann(DDIA 第二版)—— 体系化的"圣经"

代表作:Designing Data-intensive Applications with Martin Kleppmann(Pragmatic Engineer 对谈)|Storage Engines 章节|DDIA 第二版(2026 年 O'Reilly 出版)

Martin Kleppmann 的《Designing Data-Intensive Applications》(DDIA)是数据系统领域的"圣经",而 2026 年第二版由他与 Chris Riccomini 合著,为 AI 与云原生架构做了大规模重写——这是今年数据库圈最重大的事件之一。其存储引擎章节系统对比了 LSM-tree 与 B-tree:前者写优化、靠后台 compaction 维护,读放大与空间放大是主要代价;后者读优化、原地更新,写放大更高。

关键洞察:DDIA 的核心方法论是"先建立原则框架,再谈具体系统"。当你理解了复制、分区、事务、一致性的通用权衡后,Postgres、Cassandra、ClickHouse 的差异都只是这套原则的不同组合。

实用价值:架构评审时做出有依据的存储选型、读懂分布式数据库论文、构建可演进的系统。适合人群:架构师、分布式系统学习者、所有想"系统化"数据库知识的人。

5. Blackbored(Japhet Obala)—— 从零手搓存储引擎

代表作:Deep Dive Series - DB Storage Engines

Blackbored 走的是"造轮子"教学路线——主持人 Japhet Obala 带你亲手实现一个存储引擎。从页布局、空闲空间映射,到 B-tree 节点分裂与合并、WAL 的追加写,每一步都用代码落地。这与近期"从零实现编译器""从零写 CLI"的浪潮一脉相承:没有什么比亲手写一遍更能祛魅。

关键洞察:抽象概念(如"B-tree 节点分裂""WAL 的 fsync 语义")在教科书里是图,在手搓时是一堆边界条件和 bug。当你自己处理过页内分裂、自己写过崩溃恢复,就再也不会把数据库当成黑盒。

实用价值:真正理解索引为何这样工作、为阅读 SQLite/Postgres 源码打基础、获得"我能造轮子"的工程自信。适合人群:喜欢动手、对黑盒感到不适的开发者。

6. Fireship —— 100 秒建立坐标系

代表作:DuckDB in 100 Seconds

Fireship 的 "X in 100 Seconds" 系列是保持技术敏锐的最佳零食。DuckDB 一期精准定义了它的生态位——"SQLite for analytics":一个进程内、列存、为 OLAP 优化的嵌入式数据库。100 秒内你会得到:它解决什么问题、和 Pandas/ClickHouse 的关系、何时该用。

关键洞察:Fireship 的价值不是深度,而是"坐标系"。在投入几十小时学 DuckDB 之前,先用 100 秒判断它是否值得;看完 CMU 深度课后,再用它做技术雷达式的快速补充。它是知识体系的"索引页"而非"正文"。

实用价值:高效筛选技术栈、跟进生态动态、给团队做 30 秒技术科普。适合人群:所有人——尤其想快速判断"要不要深入学这个"的开发者。

7. DuckDB 生态专题 —— 现代分析引擎的范式样本

代表作:CMU 高级课 DuckDB 整章 | DuckDB 2026 内部机制深度解读 | DuckLake 架构深度解析

把 DuckDB 生态单列为一个"专题精读",是因为它浓缩了 2026 年数据库工程最值得学的三项技术:列式存储、向量化执行、Morsel 驱动并行。2026 年的 DuckDB 已迭代到 1.5.x,并推出 DuckLake 1.0——一个号称"显著更简单"的新一代湖仓开放表格式,能跨数据湖提供事务性 SQL。

关键洞察:DuckDB 的"秘密武器"是向量化执行——一次处理一批(向量)数据而非一行,极大提升 CPU 缓存命中率与 SIMD 利用率;配合 Morsel-driven parallelism(把数据切成 morsel 分发到工作线程),它在一个嵌入式进程里跑出了服务器级 OLAP 性能。理解这套机制,就理解了所有现代分析引擎(ClickHouse、Polars)的共性。

实用价值:在 Python/R/Node 进程内做亿级数据分析、评估向量化引擎设计、为数据管道选型。适合人群:数据工程师、数据科学家、做性能优化的后端。

四、知识图谱:七强如何拼出数据库内核全貌

graph TD
    A[数据库内核知识树] --> B[存储引擎层]
    A --> C[事务并发层]
    A --> D[查询执行层]
    A --> E[分布式与复制层]

    B --> B1[B-tree vs LSM-tree]
    B --> B2[WAL 预写日志]
    B --> B3[页布局/缓冲池]
    B --> B4[列式存储]

    C --> C1[ACID]
    C --> C2[MVCC]
    C --> C3[隔离级别/2PL]

    D --> D1[查询优化器 CBO]
    D --> D2[向量化执行]
    D --> D3[Morsel 驱动并行]

    E --> E1[复制/共识]
    E --> E2[分区/分片]

    B1 -.体系化原则.-> P1[Kleppmann DDIA]
    B3 -.从零手搓.-> P2[Blackbored]
    C1 -.工程实战.-> P3[Hussein Nasser]
    B2 -.源码级.-> P4[Arpit Bhayani]
    D2 -.研究前沿.-> P5[CMU Pavlo]
    D2 -.案例样本.-> P7[DuckDB 生态]
    B4 -.生态速览.-> P6[Fireship]

五、学习路径建议

把这 7 个频道排成一条从祛魅到精通的路径:

  1. 建立坐标系(1 天):Fireship 看 100 秒系列,确定你对哪些数据库/概念感兴趣。
  2. 动手祛魅(1-2 周):跟 Blackbored 手搓一个迷你存储引擎,把 B-tree 与 WAL 从"概念"变成"我写过的代码"。
  3. 补足机制(2-3 周):Hussein Nasser 补 ACID/索引/复制,Arpit Bhayani 钻进 PostgreSQL/MySQL 源码级细节。
  4. 建立原则(持续):精读 DDIA 第二版,把零散知识收敛成"复制+分区+事务+一致性"的通用框架。
  5. 追踪前沿(长期):订阅 CMU Advanced DB,跟进 DuckDB/ClickHouse 等现代引擎的工程论文与版本演进。

六、延伸推荐

参考来源

  1. CMU Advanced Database Systems - DuckDB Embedded(Class Central) — Andy Pavlo 整章拆解 DuckDB,学院派研究前沿
  2. Hussein Nasser - Database Engineering 播放列表 — ACID/WAL/索引/复制的工程实战课
  3. Arpit Bhayani - PostgreSQL and MySQL Internals 播放列表 — 源码级单库解剖(约 21 万订阅)
  4. DDIA 第二版(Martin Kleppmann 官方,2026) — 为 AI 与云原生重写的"数据系统圣经"
  5. DuckDB 2026 内部机制:列存、向量化、Morsel 驱动 — 现代分析引擎范式深度解读
  6. DuckLake 架构深度解析(MotherDuck) — 新一代湖仓开放表格式
  7. Database Engines 2026 深度对比 — Postgres/MySQL/ClickHouse/DuckDB/TiDB/Cockroach 全景
  8. Fireship - DuckDB in 100 Seconds — 极速建立生态坐标系

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入