当所有人都在讨论"用哪个数据库"时,真正的工程师在追问"数据库是如何工作的"。2026 年,随着 DuckDB 1.5 把 ClickHouse 级别的 OLAP 能力塞进进程内、DDIA 第二版为 AI 与云原生架构彻底重写、PostgreSQL 18 巩固"赢了 API 战争"的地位——数据库内核知识正从"DBA 专属"变成"全栈工程师的必修课"。本期精选 7 个把数据库"拆给你看"的顶级频道/系列,从学院派研究前沿到手搓存储引擎,从源码级单库解剖到体系化原则,构建一张可落地的数据库内核学习地图。
本期聚焦 programming 分类下最硬核、却长期被普通开发者回避的子领域——数据库内核(Database Internals)与存储引擎。
核心发现有三:
| 频道 / 系列 | 风格定位 | 核心内容 | 难度 | 适合人群 |
|---|---|---|---|---|
| CMU Database Group(Andy Pavlo) | 学院派 / 研究前沿 | 高级数据库系统、DuckDB 内核、查询优化 | ★★★★★ | 算法/系统方向工程师、想做 DB 研发者 |
| Hussein Nasser | 协议级 / 工程实战 | ACID、WAL、索引、复制、HTTP/gRPC | ★★★☆☆ | 后端工程师、想搞懂"为什么慢"的人 |
| Arpit Bhayani(Asli Engineering) | 源码级 / 单库深挖 | PostgreSQL/MySQL 连接模型、锁、MVCC | ★★★★☆ | 中高级后端、系统设计面试者 |
| Martin Kleppmann(DDIA 2E) | 原则层 / 体系化 | LSM vs B-tree、复制、分区、一致性 | ★★★★☆ | 架构师、分布式系统学习者 |
| Blackbored(Japhet Obala) | 从零手搓 / 代码驱动 | 亲手实现存储引擎 | ★★★☆☆ | 喜欢动手、想祛魅内核的开发者 |
| Fireship | 极速 / 生态速览 | DuckDB 100 秒、技术雷达 | ★★☆☆☆ | 所有人(入门与保持技术敏锐) |
| DuckDB 生态专题 | 案例研究 / 现代分析引擎 | 向量化执行、列存、DuckLake | ★★★★☆ | 数据工程师、数据科学家 |
频道:CMU Database Group 代表作:Advanced Database Systems(15-721),含 "DuckDB Embedded Database System" 整章
Andy Pavlo 是卡内基梅隆大学的数据库教授,他的课程被业内公认为"全球最好的免费数据库内核教材"。其 Advanced Database Systems 系列直接把当年最热的系统(DuckDB、ClickHouse、Peloton)拆成讲座——其中 "S2024 #20 - DuckDB Embedded Database System" 一讲,从嵌入式架构讲到向量化执行,被 DuckDB 官方推特专门转发背书。
关键洞察:Pavlo 的独特价值在于他不止讲"是什么",更讲"为什么工业界选了这条路"。例如他会用基准数据对比 B-tree 与 LSM-tree 的写放大,解释为何不同负载需要不同存储结构。他的查询优化章节(基于代价的优化器 CBO)几乎是市面上最系统的免费资料。
实用价值:面试顶级公司的数据库/存储岗位、设计自研存储引擎、读懂 SIGMOD/VLDB 论文。适合人群:有扎实基础、目标是数据库研发或系统方向研究生的工程师。
频道:@hnasr 代表作:Database Engineering 播放列表
Hussein Nasser 是后端工程领域的顶级教育者,他的 Database Engineering 系列从 ACID 事务、内存数据库、索引一直讲到 WAL、复制与协议。他的风格是"工程实战 + 手绘板书 + 极少废话",喜欢用一个具体的网络包或一行日志把抽象概念钉死。
关键洞察:他最有价值的内容集中在"协议与机制"层——WAL(预写日志)如何保证持久性、2PL 与 MVCC 如何权衡并发、HTTP/2 与 gRPC 如何影响数据库连接。这些恰好是普通教程最薄弱、却最能解释"生产环境为什么慢/为什么锁"的部分。
实用价值:排查线上锁等待与死锁、理解复制延迟根因、为系统设计面试补足数据库底座。适合人群:写过 CRUD 但想升级到"懂底层"的后端工程师。
频道:Arpit Bhayani(约 21 万订阅) 代表作:PostgreSQL and MySQL Internals 播放列表
Arpit Bhayani 是前 Amazon、独立教育者,他的 Asli Engineering 频道专攻"把一个系统讲到源码级"。其 PostgreSQL/MySQL 内核系列已有 25+ 期,逐层拆解连接管理、进程模型、锁、MVCC、缓冲池——例如"PostgreSQL 连接管理与每客户端进程模型"一期,把 Postgres 的 fork-per-connection 架构讲得清清楚楚。
关键洞察:他的方法论是"单库深挖到底"。不泛泛对比,而是真正钻进一个系统的设计决策:为什么 Postgres 用多进程而非多线程?为什么 MySQL 的 InnoDB 这么设计缓冲池?这种深度对系统设计面试和自研选型极其有用。
实用价值:技术面试中讲清楚"数据库为什么这么实现"、为选型提供源码级依据、培养"读源码"的工程肌肉。适合人群:中高级后端、准备系统设计面试的工程师。
代表作:Designing Data-intensive Applications with Martin Kleppmann(Pragmatic Engineer 对谈)|Storage Engines 章节|DDIA 第二版(2026 年 O'Reilly 出版)
Martin Kleppmann 的《Designing Data-Intensive Applications》(DDIA)是数据系统领域的"圣经",而 2026 年第二版由他与 Chris Riccomini 合著,为 AI 与云原生架构做了大规模重写——这是今年数据库圈最重大的事件之一。其存储引擎章节系统对比了 LSM-tree 与 B-tree:前者写优化、靠后台 compaction 维护,读放大与空间放大是主要代价;后者读优化、原地更新,写放大更高。
关键洞察:DDIA 的核心方法论是"先建立原则框架,再谈具体系统"。当你理解了复制、分区、事务、一致性的通用权衡后,Postgres、Cassandra、ClickHouse 的差异都只是这套原则的不同组合。
实用价值:架构评审时做出有依据的存储选型、读懂分布式数据库论文、构建可演进的系统。适合人群:架构师、分布式系统学习者、所有想"系统化"数据库知识的人。
代表作:Deep Dive Series - DB Storage Engines
Blackbored 走的是"造轮子"教学路线——主持人 Japhet Obala 带你亲手实现一个存储引擎。从页布局、空闲空间映射,到 B-tree 节点分裂与合并、WAL 的追加写,每一步都用代码落地。这与近期"从零实现编译器""从零写 CLI"的浪潮一脉相承:没有什么比亲手写一遍更能祛魅。
关键洞察:抽象概念(如"B-tree 节点分裂""WAL 的 fsync 语义")在教科书里是图,在手搓时是一堆边界条件和 bug。当你自己处理过页内分裂、自己写过崩溃恢复,就再也不会把数据库当成黑盒。
实用价值:真正理解索引为何这样工作、为阅读 SQLite/Postgres 源码打基础、获得"我能造轮子"的工程自信。适合人群:喜欢动手、对黑盒感到不适的开发者。
Fireship 的 "X in 100 Seconds" 系列是保持技术敏锐的最佳零食。DuckDB 一期精准定义了它的生态位——"SQLite for analytics":一个进程内、列存、为 OLAP 优化的嵌入式数据库。100 秒内你会得到:它解决什么问题、和 Pandas/ClickHouse 的关系、何时该用。
关键洞察:Fireship 的价值不是深度,而是"坐标系"。在投入几十小时学 DuckDB 之前,先用 100 秒判断它是否值得;看完 CMU 深度课后,再用它做技术雷达式的快速补充。它是知识体系的"索引页"而非"正文"。
实用价值:高效筛选技术栈、跟进生态动态、给团队做 30 秒技术科普。适合人群:所有人——尤其想快速判断"要不要深入学这个"的开发者。
代表作:CMU 高级课 DuckDB 整章 | DuckDB 2026 内部机制深度解读 | DuckLake 架构深度解析
把 DuckDB 生态单列为一个"专题精读",是因为它浓缩了 2026 年数据库工程最值得学的三项技术:列式存储、向量化执行、Morsel 驱动并行。2026 年的 DuckDB 已迭代到 1.5.x,并推出 DuckLake 1.0——一个号称"显著更简单"的新一代湖仓开放表格式,能跨数据湖提供事务性 SQL。
关键洞察:DuckDB 的"秘密武器"是向量化执行——一次处理一批(向量)数据而非一行,极大提升 CPU 缓存命中率与 SIMD 利用率;配合 Morsel-driven parallelism(把数据切成 morsel 分发到工作线程),它在一个嵌入式进程里跑出了服务器级 OLAP 性能。理解这套机制,就理解了所有现代分析引擎(ClickHouse、Polars)的共性。
实用价值:在 Python/R/Node 进程内做亿级数据分析、评估向量化引擎设计、为数据管道选型。适合人群:数据工程师、数据科学家、做性能优化的后端。
graph TD
A[数据库内核知识树] --> B[存储引擎层]
A --> C[事务并发层]
A --> D[查询执行层]
A --> E[分布式与复制层]
B --> B1[B-tree vs LSM-tree]
B --> B2[WAL 预写日志]
B --> B3[页布局/缓冲池]
B --> B4[列式存储]
C --> C1[ACID]
C --> C2[MVCC]
C --> C3[隔离级别/2PL]
D --> D1[查询优化器 CBO]
D --> D2[向量化执行]
D --> D3[Morsel 驱动并行]
E --> E1[复制/共识]
E --> E2[分区/分片]
B1 -.体系化原则.-> P1[Kleppmann DDIA]
B3 -.从零手搓.-> P2[Blackbored]
C1 -.工程实战.-> P3[Hussein Nasser]
B2 -.源码级.-> P4[Arpit Bhayani]
D2 -.研究前沿.-> P5[CMU Pavlo]
D2 -.案例样本.-> P7[DuckDB 生态]
B4 -.生态速览.-> P6[Fireship]
把这 7 个频道排成一条从祛魅到精通的路径:
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
