你每天都在用ChatGPT，但你能说清楚它是怎么被造出来的吗？绝大多数人的认知停留在“喂数据、训练、出结果”这种玄学层面，于是产生了两种极端：一种把AI当神拜，觉得它无所不知；一种把AI当骗子防，觉得它一本正经胡说八道。这两种态度都没法让你真正用好这个工具。
前OpenAI创始成员、前特斯拉AI总监Andrej Karpathy在2025年2月发布的视频《Deep Dive into LLMs like ChatGPT》，可能是迄今为止把这件事讲得最透的一条视频。时长3个半小时，没有废话，从互联网原始数据一路讲到ChatGPT回答你问题的那一瞬间。Karpathy的身份很特殊：他既是GPT系列早期研发的核心参与者，又是最擅长教学的讲解者，他的"build-nanogpt"系列让无数工程师第一次真正理解了大模型内部。这条Deep Dive发布后迅速成为整个AI领域的“扫盲圣经”，播放量达到百万级，无数公司把它当新人培训材料。
这条视频解决的核心问题是：把ChatGPT从“魔法”还原成“工程”。当你知道了模型是怎么炼成的，你就知道它擅长什么、什么时候会翻车、以及该把它当成什么来用。本文帮你把3.5小时的内容浓缩成可消化的核心要点，并附上我自己的判断和使用心法。
| 项目 | 内容 |
|---|---|
| 视频标题 | Deep Dive into LLMs like ChatGPT |
| 频道 | Andrej Karpathy（订阅量约百万级） |
| 时长 | 约3.5小时 |
| 播放量 | 百万级以上（数据为约数，持续增长中） |
| 发布时间 | 2025年2月 |
| 核心主题 | 完整拆解大语言模型从预训练到强化学习的全流程 |
Karpathy开篇就纠正了一个普遍误解：ChatGPT不是一个被“编程”出来的软件，没有人写下“如果用户问X就回答Y”的规则。它是三阶段流水线的产物：预训练（Pretraining）→ 监督微调（SFT）→ 强化学习（RLHF/RLVR）。每个阶段的产出物是下一阶段的原料，最终你看到的“助手”，只是在原始模型上层层加工后的成品。
延伸分析：这个流水线视角极其重要。很多企业吵“我们的专有数据要不要拿来微调”，其实连自己处在流水线哪一段都没搞清。预训练改变的是模型的“知识底盘”，微调改变的是“行为方式”，强化学习改变的是“性格倾向”。三类问题要找三类不同的解法，这就是为什么“上传一堆PDF就能让模型变专家”的幻觉普遍翻车。
第一阶段，模型读的是规模庞大的互联网文本（Karpathy给出的量级是十万亿token级别，即上千万亿个词片段）。训练目标简单到令人发指：预测下一个token。但就是这一个目标，逼着模型为了猜准下一个词，不得不“理解”语法、事实、逻辑甚至心理。他给这个阶段的产出起了一个形象的定位——base model（基座模型）：它不是助手，而是一个“互联网文档模拟器”，你给它开头，它续写一段“互联网上最像的东西”。
延伸分析：这一点解释了一个常见的困惑——为什么你问base model问题，它有时不回答，反而自己编出更多问题？因为它根本不是在“对话”，它是在“续写网页”。理解这一点，你就理解了为什么同样底层的模型，套上不同的对话界面体验天差地别。
base model只会续写，要变成助手，需要第二阶段：监督微调。具体做法是，AI公司雇用大量人类标注员，让他们扮演用户和助手的角色，写出高质量的对话样本，通常每个对话会包含数十轮问答，模型再学习模仿这些对话。Karpathy有个很妙的说法：模型本质上在“扮演”一个 average 的标注员形象，那些标注员就是模型人格的“演员”。
延伸分析：这直接解释了模型的“人设”从哪来——你感受到的ChatGPT的语气、格式偏好（爱用列表、爱加粗），很大程度上是标注员写作习惯的统计投影。这也是为什么各家模型的“性格”不同：OpenAI、Anthropic、Google的标注团队文化不同，调教出的助手气质就不同。
这是全片最有价值的段落之一。为什么LLM会一本正经地编造事实？Karpathy的解释是：模型在预训练时学到的规律是“给出一个答案”，而它在微调时看到的样本里，助手永远给出流畅自信的回答——它从未被教会说“我不知道”。当遇到模型知识盲区（尤其是低频、冷门的事实，比如某部冷门电影的第7个演员），它会按统计规律“猜一个最像答案的答案”。
解法也是三层的：第一，让模型学会说“不知道”；第二，给它接上工具（联网搜索、代码执行），把“回忆题”变成“开卷题”；第三，在推理时引导它先搜集资料再作答。延伸分析：我自己的使用原则由此而来——凡是“低频事实”（人名、数字、引用、链接），一律要求AI给出处或当场搜索验证；凡是“高频推理”（写代码框架、改写文案、总结结构），放手让它干。这个分辨力就是AI时代的基本功。
第三阶段是强化学习。SFT能模仿标注员的字面答案，但“哪个答案更好”是比不出来的。RLHF的做法是：让人类（或AI）对模型的多个回答做排序，训练出一个奖励模型（Reward Model）——它就像一个“品味裁判”，然后让主模型朝着裁判打高分的行为方向优化。Karpathy把这一步称为对模型做“心理学”（model psychology）：它塑造的不是知识，而是风格、安全边界和倾向性。
延伸分析：这一段也解释了为什么RLHF后的模型会“变笨”或“变谄媚”——奖励模型只是人类偏好的代理，优化过头就会过拟合这种代理：为了让你开心而附和你（sycophancy），为了规避风险而拒绝无害请求。这不是玄学，是所有基于代理指标的优化系统的通病，Goodhart定律在AI上的完美演绎。
RLHF只能优化“主观感受”，但数学和代码有客观对错——这正是可验证奖励强化学习（RLVR）的舞台：答对数学题、代码通过测试就给奖励，错了就扣。Karpathy专门提到2025年1月爆发的DeepSeek R1：完全靠强化学习训练推理能力，模型自己涌现出了长链条思考（甚至包括反思、回溯这些行为），证明了“给对奖励信号，推理行为可以自己长出来”。
延伸分析：这是整条视频里最“前沿”的部分，也是2025-2026年各家推理模型（o系列、R1系列及后续）的共同底层逻辑。理解了RLVR，你就理解了为什么“推理模型”回答慢但准：它是在用推理时的计算量换答案质量，这背后是Rich Sutton在《The Bitter Lesson》里的老命题——通用方法+算力，终究战胜精巧的手工设计。
视频后半段非常实用：模型更新太快，怎么追？Karpathy的建议是盯住几个客观来源——比如 LMArena（lmarena.ai） 这类匿名对战的排行榜（真实用户盲测两模型输出投票），以及各大实验室发布新模型时的 model diff（模型差异说明）。他的另一个提醒是：模型发布是按周期迭代的，你现在用的"ChatGPT"和半年后的"ChatGPT"可能根本不是同一个东西。
延伸分析：我的补充经验是把场景和榜单交叉：写代码看代码榜，长文写作看创意写作榜，中文场景还要单独验证——很多国际榜单对中文能力的区分度很弱。榜单给出的是“下限保证”，你自己的工作流测试才是“上限验证”。
贯穿全片的态度是：LLM是一个能替你完成大量80%工作的强大工具，但最后那20%的准确性、判断和责任，必须由人来承担。自动补全、初稿生成、代码脚手架、学习陪练——这些是它的甜区；事实核查、专业决策、高风险场景——必须有人在回路里。Karpathy还给了具体的学习建议：让模型给你出题、批改、解释，把它变成个人教练，而不只是问答机器。
延伸分析：我认为这8个字可以总结为“放手80%，紧盯20%”。大多数人的失败用法是两头都错：要么全盘信任（被幻觉坑），要么全盘怀疑（效率归零）。工具的使用智慧和工具本身一样重要。
graph TD
A[互联网文本<br/>十万亿token级] -->|下一步词预测| B[预训练 Pretraining]
B -->|产出| C[Base Model<br/>互联网文档模拟器]
C -->|只会续写，不会对话| D[问题：如何变成助手？]
D -->|人类标注员撰写高质量对话| E[监督微调 SFT]
E -->|产出| F[助手模型<br/>会对话，但会幻觉]
F -->|人类偏好排序| G[RLHF<br/>奖励模型=品味裁判]
F -->|客观对错可验证| H[RLVR<br/>数学/代码/推理]
G -->|优化| I[性格·安全边界·倾向]
H -->|涌现| J[长链条推理<br/>DeepSeek R1式aha时刻]
I --> K[最终产品<br/>ChatGPT / Claude / Gemini]
J --> K
K -->|正确姿势| L[放手80%工作<br/>人类紧盯20%关键环节]
K -->|错误姿势| M[全信=被幻觉坑<br/>全疑=效率归零]
如果你是开发者：先去看Karpathy的另一条视频"Let's build GPT"和他的nanoGPT仓库（github.com/karpathy/nanoGPT），亲手把300行代码的GPT跑起来，你对“预训练”的理解会从抽象概念变成肌肉记忆。做RAG或微调项目前，先用本文的三阶段框架判断：你的问题到底是知识缺失（要RAG/继续预训练）、行为缺失（要SFT）还是偏好缺失（要RL），对症下药能省下大量无效投入。
如果你是普通用户：立即可用的三个习惯——第一，给低频事实类回答加一句“请附上可验证的出处”；第二，把AI当教练用（“针对我这个理解出5道题考我”）而不是当答案机用；第三，重要任务用双模型交叉验证，把LMArena当作你选模型的起点。
如果你是管理者：团队里最危险的不是不会用AI的人，而是“全信”和“全不用”的两个极端。本文的三阶段模型可以直接当培训材料——理解了幻觉的机制成因，团队才会真正建立“AI产出必须有人负责”的流程，而不是停留在口号上。
认知升级：这条视频最大的价值，是把AI从“魔法叙事”里解放出来。当你知道模型的每个能力都有对应的工程来源、每个缺陷都有机制层面的解释，你对AI的所有判断都会从“信仰问题”降维成“工程问题”——这是用任何单条新闻、任何爆款测评都换不来的底层视角。
这条视频用3.5小时完成了一次“祛魅”：ChatGPT不是读心的魔法，而是一条“预训练压知识、微调定行为、强化学习塑性格”的工程流水线——看清流水线的人，才能真正驾驭它。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。