一条3个半小时的视频，看懂ChatGPT是怎么“炼”出来的

概述

在"编程与开发"这个领域，2025年没有任何一条长视频的影响力能和它相提并论：Andrej Karpathy 的《Deep Dive into LLMs like ChatGPT》。Karpathy 是 OpenAI 创始成员、前特斯拉 AI 总监、斯坦福 CS231n 的创始讲师——一个人横跨学术界和工业界最前沿的“传道者”。这条近三个半小时的视频，把大语言模型从“互联网原始汤”到能对话、能推理、会幻觉的全过程讲了一遍。它爆火不是没有道理的：它是目前唯一一条由顶级内部人士完整拆解 LLM 生产流水线的中文圈可及资源（英文原声）。对程序员来说，它回答的不只是"LLM怎么工作"，还有一个更切身的问题：当 AI 会写代码了，我还该学编程吗？ 本文带你完整消化这条视频，并补上一层视频之外的理论溯源与批判视角。

视频基本信息

需要说明：本次成文时未能对视频页面做实时二次抓取核验，上述数据为据频道页面的公开信息，精确播放量请以页面实时数据为准。

核心主张拆解：一条 LLM 生产的“流水线”

视频的叙事结构极其工整，本质上是一条模型制造流水线：预训练 → 监督微调 → 强化学习 → 幻觉问题 → 工具化 → 未来展望。Karpathy 反复强调，ChatGPT 这类产品不是一个东西，而是三个阶段叠加的产物。理解了这个流水线，你看任何 AI 新闻都能对号入座。

1. 预训练：互联网的“模糊梦境”

Karpathy 把预训练产物称为"a hazy dream of the internet"（互联网的模糊梦境）。过程是这样的：把互联网上海量网页文本切分成 token（子词单元，通常用 BPE 算法，可溯源自 Sennrich 等人 2016 年的工作），然后训练一个神经网络只做一件事——预测下一个 token。就这么一个“填空题”任务，当你把参数堆到几百亿、把数据堆到十几万亿 token 时，压缩知识、语法、推理模式的能力就涌现了出来。

几个视频中的关键认知点：

• 这是有损压缩。模型不是数据库，它记住的是互联网的“统计轮廓”，而不是原文。这直接为后面的幻觉问题埋下伏笔。
• 贵的吓人。Karpathy 用公开资料估算了各家旗舰模型的预训练成本，量级从数千万美元到上亿美元不等（视频口径，未含后续核验）。这也是为什么全世界只有十几家公司做得起预训练。
• 预训练模型的本质：它不是助手，而是一个“互联网文档模拟器”。你问它“2+2等于几”，它可能续写出一整页数学题——因为它在模仿网页，而不是在回答你。这就需要第二阶段。

2. 监督微调（SFT）：雇人来“演”助手

第二阶段，公司雇大量人工标注员，手写“用户问→助手答”的高质量对话，让模型从“网页模拟器”转变成“对话助手”。Karpathy 给了一个非常传神的比喻：这像是给模型看大量“助理工作表演”，让它模仿一个助手的人设与语气。

这一段他提出了全视频最有趣的概念之一——"LLM 心理学家"（LLM psychologist）：微调数据的质量直接塑造模型的人格、风格和能力边界，而我们更像是给模型做心理塑造的人，而非传统意义上的程序员。

3. 强化学习：从“模仿”到“自己解题”

第三阶段是全视频技术含金量最高的部分。Karpathy 把强化学习分成两条路线：

• RLHF（基于人类反馈的强化学习）：让人类对模型的多个回答排序，训练一个奖励模型，再用 RL 优化。它教模型“讨人喜欢”，源头是 OpenAI 2022 年的 InstructGPT 论文。Karpathy 的评价很犀利：RLHF 本质上还是"模仿人类标签"，模型学的是"怎么说得好"，不一定是"怎么想对"。
• RLVR（可验证奖励的强化学习）：在数学、代码这类答案可以自动验证的领域，让模型自己疯狂刷题，做对了给奖励。他指出这正是 DeepSeek-R1（2025年1月）展示的路线——模型在纯 RL 中自发学会长链推理、自我检查。他称之为模型"解决问题"而非"复述答案"的质变。

用一个公式化的对比总结视频观点：预训练给模型装上知识，SFT 给模型装上人设，RL 才给模型装上能力。

4. 幻觉：不是 bug，而是“内禀属性”

视频最有传播力的段落是幻觉（hallucination）分析。Karpathy 引用了 2024 年新加坡国立大学团队（Xu, Jain, Kankanhalli）的论文《Hallucination is Intrinsic to Language Models》，其中给出一个令人绝望的公式：一个语言模型若要保持校准（即回答的置信度与正确率匹配），它对任意事实必须产生一定比例的幻觉，幻觉率 σ ≈ 事实基线出现率 ÷（出现率 + 出错率）。

通俗解释：模型无法区分“我见过的”和“我编的”。视频里他举了几个经典演示——问模型"一个美国人平均有几个钱包"，模型会自信地给出一个数字，然后可能前后矛盾；让模型数一句话里有几个字母，它也常常答错。模型没有可靠的“内省”能力：它不知道自己知道什么、不知道什么。

他还引用了 Allen-Zhu《Physics of Language Models》系列中关于知识容量的估计——每个参数大约只能存 2 比特知识——来说明为什么“把互联网全记下来”在物理上就不可能，压缩必然带来失真与编造。

5. 工具化与智能体：给大脑装上手脚

视频后半段转向“怎么用”。Karpathy 演示了 2025 年初最强的几个能力形态：联网搜索（用检索弥补记忆失真）、代码执行（让模型用 Python 算数、画图，而不是“脑补”）、以及当时刚爆发的 Deep Research 类产品（OpenAI、Perplexity、Gemini 的对比实测——让模型自主浏览几十个网页后产出研究报告）。他的核心观点：单独的模型权重是“大脑”，工具才是“手脚”，评价一个 AI 产品不能只看模型，要看它的工具链。

6. 编程的未来：要不要继续学代码？

对程序员读者最切身的问题，Karpathy 的回答分三层：

1. 编程正在被改变：AI 辅助编程（Cursor 等工具）、以及他在同一时期带火的概念"vibe coding"（凭感觉编程——全程接受 AI 代码不细看）确实大幅降低了“把想法变成软件”的门槛。据公开报道，"vibe coding"一词正是他于 2025 年 2 月初提出，与这条视频几乎同期。
2. 但初学者不应该跳过基础：你无法审查你不理解的东西。AI 生成的代码必须有懂行的人把关，否则就是把调试能力外包给运气。
3. 学习编程的价值转向“思维训练”：他用了类似“计算器没有杀死数学”的类比——编程训练的分解问题、精确表达、系统思维，恰恰是你驾驭 AI 所需要的能力。你懂得越多，AI 对你的杠杆越大。

知识与理论溯源

视频中的每个论点都能锚定到真实的研究或工程实践，这是它区别于一般 AI 科普的最大特征：

值得注意的是时效性：视频发布后，OpenAI 于 2025 年下半年又发表了《Why Language Models Hallucinate》，从“评分机制惩罚‘我不知道’”的角度进一步解释了幻觉的制度性成因（模型界普遍追求“不确定也要猜”的考试文化）。这可以看作对 Karpathy 视频观点的补充而非反驳。

批判性审查：哪些成立，哪些要打折扣

证据充分的部分：三阶段流水线的描述与业界公开资料高度一致；幻觉的“内禀性”论证有同行评审论文支撑；RLVR 在数学/代码上的有效性已被 DeepSeek-R1 及后续多家复现验证。这些是视频中含金量最高、至今没有过时的部分。

需要保留意见的部分：

1. “模型完全不懂自己知道什么”可能过强。2025 年以来机制可解释性研究（包括 Anthropic 的多项工作）显示，模型内部存在对自身知识状态的部分表征，“完全无内省”是简化说法。Karpathy 自己在视频里也承认这是教学性简化。
2. RLHF ≠ 只会讨好。后续研究（DPO、过程奖励模型等）表明人类偏好数据也能提升推理质量，视频中“RLHF 只是模仿”的二分法便于教学但边界模糊。
3. DeepSeek-R1“纯 RL 涌现”存在争议。社区对其基座模型（V3-base）是否已经过大量思维链数据预热有过讨论，“从零涌现”的叙事被部分研究者质疑夸大。
4. 模型对比部分老化最快。视频对 2025 年初各家模型（GPT-4o、o1 等）的具体点评，在 2026 年看来已是历史资料。这也是所有 AI 内容的宿命：原理章节保值，产品章节折旧。

一个结构性提醒：这条视频本质是“内部人士的教学简化”，不是学术论文综述。它用清晰换掉了完备——这个 trade 对学习者是赚的，但引用它的具体数字（如训练成本）时应当回到原始出处核实。

认知提升与实用启示

启示一：用“出现率直觉”给模型输出分级。 记住 σ 公式的直觉：模型对“互联网上反复出现的信息”（主流 API 用法、经典算法）可靠性高，对“低频孤例”（具体版本号、冷门论文页码、真实引用文献）幻觉率高。实操上：让 AI 写常规代码放心用，让它列参考文献必须逐条点开验证，或直接要求它调用搜索/代码工具而不是“凭记忆作答”。

启示二：把 LLM 当陪练，不当答案机。 视频演示了 LLM 最被低估的用法——让它先出题考你、再批改你的解法，而不是直接要答案。对学习编程的人，这意味着把“让 AI 写”换成“我写、AI 挑错”：前者训练你的外包能力，后者训练你的编程思维。这正是 Karpathy“计算器没有杀死数学”类比的个人实践版。

启示三：用一次 Deep Research 换一张“领域地图”。 视频展示了 Deep Research 类工具的真实能力边界：适合快速生成陌生领域的结构化综述，但报告中的关键事实仍需你人工抽查两三个一手来源。高效用法是“AI 给地图，人类走要道”——用它一小时建立全貌，再精读真正的经典材料。

视频论证结构图

flowchart TD
    A[互联网文本] -->|万亿token| B[预训练<br/>预测下一词]
    B -->|有损压缩<br/>成本数千万美元+| C[互联网的模糊梦境<br/>基座模型]
    C -->|人工示范对话| D[SFT监督微调<br/>LLM心理学家]
    D -->|人类排序奖励| E[RLHF<br/>学会说话得体]
    D -->|可验证奖励| F[RLVR<br/>学会真的解题]
    E --> G[对话助手产品]
    F --> G
    G --> H[幻觉问题<br/>σ=基线率/基线率+错误率<br/>内禀属性非bug]
    H -->|缓解手段| I[工具化<br/>搜索+代码执行+Deep Research]
    I --> J[编程的未来<br/>AI杠杆x人类判断力]
    J --> K[结论:<br/>继续学编程，学的是思维]

延伸阅读

1. Andrej Karpathy《Let's build GPT: from scratch》——同一频道的代码实战篇，从零用 PyTorch 手写一个 GPT，与本文解读的理论视频构成"原理+实现"组合。
2. 论文《Hallucination is Intrinsic to Language Models》（arXiv:2409.05746）——视频中幻觉公式的原始出处，适合想深挖的读者。

参考来源

1. Deep Dive into LLMs like ChatGPT — Andrej Karpathy — 本文解读的主视频（据频道页面，本次未能实时二次核验播放数据）
2. Andrej Karpathy YouTube 频道 — 视频出处及作者其他长视频
3. Training language models to follow instructions with human feedback (InstructGPT) — RLHF 技术源头论文
4. Hallucination is Intrinsic to Language Models — 幻觉内禀性与 σ 公式出处
5. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning — 可验证奖励强化学习路线代表论文

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。