# 一条3个半小时的视频，看懂ChatGPT是怎么“炼”出来的 ## 概述 在"编程与开发"这个领域，2025年没有任何一条长视频的影响力能和它相提并论：Andrej Karpathy 的《Deep Dive into LLMs like ChatGPT》。Karpathy 是 OpenAI 创始成员、前特斯拉 AI 总监、斯坦福 CS231n 的创始讲师——一个人横跨学术界和工业界最前沿的“传道者”。这条近三个半小时的视频，把大语言模型从“互联网原始汤”到能对话、能推理、会幻觉的全过程讲了一遍。它爆火不是没有道理的：它是目前唯一一条由顶级内部人士完整拆解 LLM 生产流水线的中文圈可及资源（英文原声）。对程序员来说，它回答的不只是"LLM怎么工作"，还有一个更切身的问题：**当 AI 会写代码了，我还该学编程吗？** 本文带你完整消化这条视频，并补上一层视频之外的理论溯源与批判视角。 ## 视频基本信息 | 项目 | 内容 | |------|------| | 标题 | Deep Dive into LLMs like ChatGPT（深入解读ChatGPT这类大语言模型） | | 频道 | Andrej Karpathy | | 发布日期 | 2025年2月2日 | | 时长 | 约3小时31分 | | 播放量 | 数百万量级，是其频道播放最高的长视频之一（据频道页面；发布数周内即破百万，本文不引用未经核证的精确数字） | | 讲者背景 | OpenAI创始成员（2015–2017）、前Tesla AI总监、斯坦福CS231n开设者 | 需要说明：本次成文时未能对视频页面做实时二次抓取核验，上述数据为据频道页面的公开信息，精确播放量请以页面实时数据为准。 ## 核心主张拆解：一条 LLM 生产的“流水线” 视频的叙事结构极其工整，本质上是一条**模型制造流水线**：预训练 → 监督微调 → 强化学习 → 幻觉问题 → 工具化 → 未来展望。Karpathy 反复强调，ChatGPT 这类产品不是一个东西，而是**三个阶段叠加的产物**。理解了这个流水线，你看任何 AI 新闻都能对号入座。 ### 1. 预训练：互联网的“模糊梦境” Karpathy 把预训练产物称为"a hazy dream of the internet"（互联网的模糊梦境）。过程是这样的：把互联网上海量网页文本切分成 token（子词单元，通常用 BPE 算法，可溯源自 Sennrich 等人 2016 年的工作），然后训练一个神经网络只做一件事——**预测下一个 token**。就这么一个“填空题”任务，当你把参数堆到几百亿、把数据堆到十几万亿 token 时，压缩知识、语法、推理模式的能力就涌现了出来。 几个视频中的关键认知点： - **这是有损压缩**。模型不是数据库，它记住的是互联网的“统计轮廓”，而不是原文。这直接为后面的幻觉问题埋下伏笔。 - **贵的吓人**。Karpathy 用公开资料估算了各家旗舰模型的预训练成本，量级从数千万美元到上亿美元不等（视频口径，未含后续核验）。这也是为什么全世界只有十几家公司做得起预训练。 - **预训练模型的本质**：它不是助手，而是一个“互联网文档模拟器”。你问它“2+2等于几”，它可能续写出一整页数学题——因为它在模仿网页，而不是在回答你。这就需要第二阶段。 ### 2. 监督微调（SFT）：雇人来“演”助手 第二阶段，公司雇大量人工标注员，**手写**“用户问→助手答”的高质量对话，让模型从“网页模拟器”转变成“对话助手”。Karpathy 给了一个非常传神的比喻：这像是给模型看大量“助理工作表演”，让它模仿一个助手的人设与语气。 这一段他提出了全视频最有趣的概念之一——**"LLM 心理学家"（LLM psychologist）**：微调数据的质量直接塑造模型的人格、风格和能力边界，而我们更像是给模型做心理塑造的人，而非传统意义上的程序员。 ### 3. 强化学习：从“模仿”到“自己解题” 第三阶段是全视频技术含金量最高的部分。Karpathy 把强化学习分成两条路线： - **RLHF（基于人类反馈的强化学习）**：让人类对模型的多个回答排序，训练一个奖励模型，再用 RL 优化。它教模型“讨人喜欢”，源头是 OpenAI 2022 年的 InstructGPT 论文。Karpathy 的评价很犀利：RLHF 本质上还是"模仿人类标签"，模型学的是"怎么说得好"，不一定是"怎么想对"。 - **RLVR（可验证奖励的强化学习）**：在数学、代码这类**答案可以自动验证**的领域，让模型自己疯狂刷题，做对了给奖励。他指出这正是 DeepSeek-R1（2025年1月）展示的路线——模型在纯 RL 中自发学会长链推理、自我检查。他称之为模型"解决问题"而非"复述答案"的质变。 用一个公式化的对比总结视频观点：**预训练给模型装上知识，SFT 给模型装上人设，RL 才给模型装上能力。** ### 4. 幻觉：不是 bug，而是“内禀属性” 视频最有传播力的段落是幻觉（hallucination）分析。Karpathy 引用了 2024 年新加坡国立大学团队（Xu, Jain, Kankanhalli）的论文《Hallucination is Intrinsic to Language Models》，其中给出一个令人绝望的公式：一个语言模型若要保持校准（即回答的置信度与正确率匹配），它对任意事实**必须**产生一定比例的幻觉，幻觉率 σ ≈ 事实基线出现率 ÷（出现率 + 出错率）。 通俗解释：模型无法区分“我见过的”和“我编的”。视频里他举了几个经典演示——问模型"一个美国人平均有几个钱包"，模型会自信地给出一个数字，然后可能前后矛盾；让模型数一句话里有几个字母，它也常常答错。**模型没有可靠的“内省”能力**：它不知道自己知道什么、不知道什么。 他还引用了 Allen-Zhu《Physics of Language Models》系列中关于知识容量的估计——每个参数大约只能存 2 比特知识——来说明为什么“把互联网全记下来”在物理上就不可能，压缩必然带来失真与编造。 ### 5. 工具化与智能体：给大脑装上手脚 视频后半段转向“怎么用”。Karpathy 演示了 2025 年初最强的几个能力形态：联网搜索（用检索弥补记忆失真）、代码执行（让模型用 Python 算数、画图，而不是“脑补”）、以及当时刚爆发的 Deep Research 类产品（OpenAI、Perplexity、Gemini 的对比实测——让模型自主浏览几十个网页后产出研究报告）。他的核心观点：**单独的模型权重是“大脑”，工具才是“手脚”**，评价一个 AI 产品不能只看模型，要看它的工具链。 ### 6. 编程的未来：要不要继续学代码？ 对程序员读者最切身的问题，Karpathy 的回答分三层： 1. **编程正在被改变**：AI 辅助编程（Cursor 等工具）、以及他在同一时期带火的概念"vibe coding"（凭感觉编程——全程接受 AI 代码不细看）确实大幅降低了“把想法变成软件”的门槛。据公开报道，"vibe coding"一词正是他于 2025 年 2 月初提出，与这条视频几乎同期。 2. **但初学者不应该跳过基础**：你无法审查你不理解的东西。AI 生成的代码必须有懂行的人把关，否则就是把调试能力外包给运气。 3. **学习编程的价值转向“思维训练”**：他用了类似“计算器没有杀死数学”的类比——编程训练的分解问题、精确表达、系统思维，恰恰是你驾驭 AI 所需要的能力。你懂得越多，AI 对你的杠杆越大。 ## 知识与理论溯源 视频中的每个论点都能锚定到真实的研究或工程实践，这是它区别于一般 AI 科普的最大特征： | 视频论点 | 学术/工程源头 | |---------|--------------| | RLHF 工作原理 | Ouyang et al., "Training language models to follow instructions with human feedback" (InstructGPT, 2022, arXiv:2203.02155) | | RLAIF / 宪法式对齐 | Bai et al., "Constitutional AI" (Anthropic, 2022, arXiv:2212.08073) | | 幻觉不可避免 + σ公式 | Xu, Jain, Kankanhalli, "Hallucination is Intrinsic to Language Models" (2024, arXiv:2409.05746) | | 参数知识容量 ~2 bits | Allen-Zhu & Li, "Physics of Language Models: Part 3.3" (2024, arXiv:2404.05405) | | 纯 RL 涌现推理 | DeepSeek-R1 (2025, arXiv:2501.12948) | | "Software 2.0/3.0" 编程范式演进 | Karpathy 2017 年博客 "Software 2.0" 及其 2025 年 6 月 YC AI Startup School 演讲 | 值得注意的是时效性：视频发布后，OpenAI 于 2025 年下半年又发表了《Why Language Models Hallucinate》，从“评分机制惩罚‘我不知道’”的角度进一步解释了幻觉的制度性成因（模型界普遍追求“不确定也要猜”的考试文化）。这可以看作对 Karpathy 视频观点的补充而非反驳。 ## 批判性审查：哪些成立，哪些要打折扣 **证据充分的部分**：三阶段流水线的描述与业界公开资料高度一致；幻觉的“内禀性”论证有同行评审论文支撑；RLVR 在数学/代码上的有效性已被 DeepSeek-R1 及后续多家复现验证。这些是视频中含金量最高、至今没有过时的部分。 **需要保留意见的部分**： 1. **“模型完全不懂自己知道什么”可能过强**。2025 年以来机制可解释性研究（包括 Anthropic 的多项工作）显示，模型内部存在对自身知识状态的**部分**表征，“完全无内省”是简化说法。Karpathy 自己在视频里也承认这是教学性简化。 2. **RLHF ≠ 只会讨好**。后续研究（DPO、过程奖励模型等）表明人类偏好数据也能提升推理质量，视频中“RLHF 只是模仿”的二分法便于教学但边界模糊。 3. **DeepSeek-R1“纯 RL 涌现”存在争议**。社区对其基座模型（V3-base）是否已经过大量思维链数据预热有过讨论，“从零涌现”的叙事被部分研究者质疑夸大。 4. **模型对比部分老化最快**。视频对 2025 年初各家模型（GPT-4o、o1 等）的具体点评，在 2026 年看来已是历史资料。这也是所有 AI 内容的宿命：原理章节保值，产品章节折旧。 **一个结构性提醒**：这条视频本质是“内部人士的教学简化”，不是学术论文综述。它用清晰换掉了完备——这个 trade 对学习者是赚的，但引用它的具体数字（如训练成本）时应当回到原始出处核实。 ## 认知提升与实用启示 **启示一：用“出现率直觉”给模型输出分级。** 记住 σ 公式的直觉：模型对“互联网上反复出现的信息”（主流 API 用法、经典算法）可靠性高，对“低频孤例”（具体版本号、冷门论文页码、真实引用文献）幻觉率高。实操上：让 AI 写常规代码放心用，让它列参考文献必须逐条点开验证，或直接要求它调用搜索/代码工具而不是“凭记忆作答”。 **启示二：把 LLM 当陪练，不当答案机。** 视频演示了 LLM 最被低估的用法——让它先出题考你、再批改你的解法，而不是直接要答案。对学习编程的人，这意味着把“让 AI 写”换成“我写、AI 挑错”：前者训练你的外包能力，后者训练你的编程思维。这正是 Karpathy“计算器没有杀死数学”类比的个人实践版。 **启示三：用一次 Deep Research 换一张“领域地图”。** 视频展示了 Deep Research 类工具的真实能力边界：适合快速生成陌生领域的结构化综述，但报告中的关键事实仍需你人工抽查两三个一手来源。高效用法是“AI 给地图，人类走要道”——用它一小时建立全貌，再精读真正的经典材料。 ## 视频论证结构图 ```mermaid flowchart TD A[互联网文本] -->|万亿token| B[预训练
预测下一词] B -->|有损压缩
成本数千万美元+| C[互联网的模糊梦境
基座模型] C -->|人工示范对话| D[SFT监督微调
LLM心理学家] D -->|人类排序奖励| E[RLHF
学会说话得体] D -->|可验证奖励| F[RLVR
学会真的解题] E --> G[对话助手产品] F --> G G --> H[幻觉问题
σ=基线率/基线率+错误率
内禀属性非bug] H -->|缓解手段| I[工具化
搜索+代码执行+Deep Research] I --> J[编程的未来
AI杠杆x人类判断力] J --> K[结论:
继续学编程，学的是思维] ``` ## 延伸阅读 1. Andrej Karpathy《Let's build GPT: from scratch》——同一频道的代码实战篇，从零用 PyTorch 手写一个 GPT，与本文解读的理论视频构成"原理+实现"组合。 2. 论文《Hallucination is Intrinsic to Language Models》（arXiv:2409.05746）——视频中幻觉公式的原始出处，适合想深挖的读者。 ## 参考来源 1. [Deep Dive into LLMs like ChatGPT — Andrej Karpathy](https://www.youtube.com/watch?v=7xTGNNLPyMI) — 本文解读的主视频（据频道页面，本次未能实时二次核验播放数据） 2. [Andrej Karpathy YouTube 频道](https://www.youtube.com/@AndrejKarpathy) — 视频出处及作者其他长视频 3. [Training language models to follow instructions with human feedback (InstructGPT)](https://arxiv.org/abs/2203.02155) — RLHF 技术源头论文 4. [Hallucination is Intrinsic to Language Models](https://arxiv.org/abs/2409.05746) — 幻觉内禀性与 σ 公式出处 5. [DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning](https://arxiv.org/abs/2501.12948) — 可验证奖励强化学习路线代表论文 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 > 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。