过去一年，AI圈最流行的论调是“Pre-training撞墙了”“Scaling Laws已死”。但Lex Fridman播客第490期给出了一个罕见有分量的回答：请来两位真正在一线造模型的人——Allen Institute for AI（Ai2）的post-training负责人Nathan Lambert（《The RLHF Book》作者）和独立研究者Sebastian Raschka（《Build a Large Language Model (From Scratch)》作者——坐下来把2026年的AI全景摊开讲了四个半小时。
这期视频的价值在于：它不聊愿景、不贩卖焦虑，而是用“造模型的人”的视角回答了一个所有人都关心的问题——AI的进步到底从哪里来，接下来还会从哪里来？答案出人意料地清晰：Scaling法则没有死，只是从一条赛道变成了三条赛道；而真正的新引擎，是一个叫RLVR（Reinforcement Learning with Verifiable Rewards，可验证奖励强化学习）的东西。如果你只想在这半年里搞懂一件事来理解AI的走向，我建议就是这期。
| 项目 | 内容 |
|---|---|
| 视频标题 | State of AI in 2026: LLMs, Coding, Scaling Laws, China, Agents, GPUs, AGI（Lex Fridman Podcast #490） |
| 频道 | Lex Fridman（订阅504万） |
| 嘉宾 | Nathan Lambert（Ai2 post-training负责人）、Sebastian Raschka（机器学习研究者、畅销书作者） |
| 时长 | 4小时25分 |
| 播放量 | 超88万（发布于2026年1月31日） |
| 核心主题 | 2026年AI技术全景：Scaling Laws现状、训练流程拆解、RLVR、开源生态与AGI时间线 |
Lambert在节目里先纠偏：Scaling Law不是营销话术，而是一个严格的数学关系——“横轴是算力与数据的组合，纵轴是模型在未见过数据上的预测准确率，两者呈幂律（power law）关系”。他说这个技术定义本身“仍在成立”，真正的争议在于：用户能从中得到什么。
更重要的是，Scaling已经从一个轴裂变成三个轴：①传统Pre-training Scaling（模型更大、数据更多）；②强化学习训练的Scaling（让模型反复试错）；③推理时Scaling（inference-time scaling，让模型在回答前“想”更久）。这是视频原话中最有框架价值的一句：“现在是三条轴了。”——这是我自己延伸一句：理解了这三条赛道，你就理解了为什么2025-2026年各家发布会风格迥异：有的堆算力（Pre-training），有的吹“思考模式”（推理时），有的闷头跑RL。
这期节目最大的技术干货在这里。Lambert披露，他的Ai2团队正是"RLVR"这个术语的发明者（源自其2023年前后的工作），而把它真正做大的就是DeepSeek R1。RLVR的原理朴素得惊人：给模型大量可自动判对错的题目（数学、代码），答对了给奖励，然后让强化学习去放大正确行为。
关键区别在Scaling属性上。Lambert指出，RLVR存在清晰的Scaling曲线——“把训练算力按对数增加，评测成绩线性上涨”，这个规律已被OpenAI o1和DeepSeek多次复现；而RLHF（人类反馈强化学习）没有对应的Scaling Law，早期的经典论文恰恰叫《Scaling Laws for Reward Model Overoptimization》——投入多了反而过拟合。他的金句值得记住：“做最好的RLHF，你可能不需要多花10倍100倍算力；但做最好的RLVR，你需要。”Grok 4就是证据：据片中提及，它的pre-training和post-training消耗了相近量级的算力。
这是Raschka贡献的最反直觉的观点。他现场举了自己的实验：拿Qwen 3 base模型在MATH 500上做RLVR，基础模型准确率约15%，只跑了50步RL，几分钟内就拉到50%。他说：“你不能告诉我，模型在这50步里学会了什么数学本质——知识早在pre-training里就灌进去了，RL只是把它解锁出来。”
他由此给出一个简洁的分工模型：Pre-training是“知识灌注”（soaking up knowledge），RL post-training是“技能解锁”（skill unlock）。Lambert补充了一个必要的怀疑：Qwen的训练数据存在污染争议（有论文指出其mid-training数据与评测集几乎重合），所以15%→50%的幅度可能被夸大——“这是当下LLM研究最大的问题：数据污染，除非用全新的评测集，否则很难证明什么。”这种坦诚的互相纠错，正是这期节目比一般“AI前景访谈”值钱的地方。
另一个祛魅式的真相：从GPT-2到今天所有旗舰模型，底座架构基本没变，仍是decoder-only Transformer。Raschka在自己书里做过验证——从GPT-2出发，加上Mixture of Experts（稀疏专家，按需激活节省算力）、Multi-head Latent Attention（压缩KV缓存）、GQA、RMSNorm这些“小改款”，就能一步步“改装”出GPT-OSS甚至Qwen级别的模型。他说得直白：“都是微调级别的改动，不是范式革命。”
那进步从哪来？两个被低估的引擎：系统层（FP8/FP4低精度训练让单GPU每秒tokens从1万提到1.3万，训练加速意味着同样时间能试更多数据配方）和数据层（用OCR模型把PDF论文挖成数万亿候选token；合成数据的正确定义不是“AI编的”，而是“把某百科改写成Q&A形式的高质量再表达”；用小模型试不同数据配比、再用线性回归反推最优配方）。Lambert补刀：在前沿实验室里，最有影响力的贡献往往不是性感算法，而是“找到一块新数据”或“让全组实验快5%”。
这期节目对商业世界的解释力惊人。Lambert给出账本：DeepSeek V3的pre-training按云市价约500万美元，Ai2租集群含折腾成本约200万美元——训练是百万美元级的一次性支出，而服务几亿用户的推理成本是数十亿美元级的持续支出。所以GPT-5的头条特性不是更聪明，而是一个router（路由器）：让大多数简单问题走小模型，Lambert直言“它帮OpenAI省了巨多钱”。
这笔账还解释了价格走向：订阅费从200美元/月到传闻中的2000美元/月，本质是把“边际智能”按需卖给愿意付钱的人。我自己延伸一个判断：未来AI产品的分层不会按“智能高低”，而会按“思考时间长短”定价——quick模式秒回，Pro模式跑半小时，就像电费按度计价。
Raschka高度评价GPT-OSS：它是第一个“为tool use而训练”的开放权重模型。逻辑很简单——问模型1998年世界杯冠军，与其赌它背没背过，不如让它去搜索；算23+5，直接调计算器。“解决幻觉最好的办法，不是让模型永远记得住，而是让它别硬编。”他甚至用这个思路类比学习：数学交给Python，事实交给搜索，模型只负责推理和调度。
Lambert把这条线和RLVR串起来了：正因为RLVR训练让模型学会了“试工具→看返回→再试”的循环，才有了今天Claude Code能自己逛你的代码库、跑命令、管Git的agentic体验——“一年前我们坐在椅子上还想不到模型能干这些”。这条因果链（RLVR→工具使用→Agent时代）是整期节目最漂亮的逻辑闭环。
节目里有个小名场面：让两位嘉宾不查资料报开放模型名，两人报了十几个——DeepSeek、Qwen、Kimi、MiniMax、GLM、GPT-OSS、Mistral……唯独没人提Llama。“RIP Llama”成了当期梗。Lambert复盘了Llama 4的失误：为了冲榜单把模型越做越大，反而丢了开放模型“可信任、可修改、跑得动”的本分，社区反噬后Meta对开源的热情肉眼可见降温。
更深一层是中国实验室的策略洞察：Lambert指出，美国企业出于安全顾虑根本不会订阅中国AI的API，所以中国厂商干脆发开放权重——模型跑在你自己的机器上，数据不出境，但技术标准和影响力已经输出。他透露自己因此发起了“Adam Project”（American Truly Open Models），游说美国建立自己的开放模型生态：“开放模型是AI研究的引擎，因为它是所有研究的起点，所以必须掌握在自己手里。”
节目引用了一项对791名十年以上经验职业开发者的调研：在“AI生成代码占比超过50%”这个档位，资深开发者显著多于初级开发者；约80%的人认为用AI让工作更愉快。Raschka的解释是：专家更知道在哪用、怎么审查，所以敢信任。由此引出全片最人文的一段讨论——“Struggle（挣扎）有学习价值”。Raschka的建议很具体：每天留2小时离线自学（先自己挣扎，再看答案），其余时间大胆用LLM。他说调试的快感“像沙漠里走了几天后喝到水”，AI可以陪你一起走沙漠，但别替你走完全程。这和我常说的“用AI用到你得先有判断力才用得动”是同一个道理——工具放大的是你已有的能力，而不是替代你获得能力。
flowchart TD
A[AI能力提升的三大来源] --> B[架构层：进化缓慢]
A --> C[数据层：质量军备]
A --> D[Scaling层：三条赛道]
B --> B1[Transformer基本盘<br/>GPT-2血统未变]
B --> B2[小改款：MoE / MLA / GQA / RMSNorm]
C --> C1[OCR挖矿：PDF与档案]
C --> C2[合成数据：改写而非编造]
C --> C3[小模型试配比 + 线性回归选配方]
D --> D1[Pre-training Scaling<br/>知识灌注 · COMPUTE密集]
D --> D2[RL训练Scaling RLVR<br/>技能解锁 · 记忆密集 · 新赛道]
D --> D3[推理时Scaling<br/>想得更久 = 更聪明]
D1 --> E[基础模型<br/>训练贵，一次投入长期复用]
D2 --> F[RLVR Scaling Law<br/>算力×10 → 能力线性涨]
D3 --> G[按思考时长定价<br/>Quick模式 vs Pro模式]
F --> H[工具使用/自我纠错]
G --> H
H --> I[Agentic AI时代<br/>Claude Code / 深度研究 / Computer Use]
如果你是开发者/研究者：两位嘉宾给出的入门路径高度一致——不要从Hugging Face Transformers那几十万行代码开始读，而是拿GPT-2级的小模型从零写一遍，然后对照真实模型的config（就100来行，人类可读）逐项改装，最后加载官方预训练权重做单元测试，“输出对上了，你的实现就是对的”。这是把RLVR思想用在自学上：有可验证的对错，进步就快。进阶者可以关注Lambert的窄域建议：找只有两三篇论文、无人深耕的小领域钻进去，做出一个让Claude都栽跟头的评测集，被前沿实验室的博客引用，就是个人研究的火箭。
如果你是产品/商业人：记住这个成本结构——训练是CAPEX，推理是OPEX。评估任何AI功能时先问三件事：这个功能每次调用烧多少token？能不能用router把80%的请求导到小模型？用户愿意为“多想10分钟”付多少溢价？GPT-5的router和传闻中的2000美元订阅，本质都是同一道算术题。
如果你是普通学习者：采纳"Goldilocks区"策略——先用教材建立信息密度高的主干（Raschka强调教材是被验证过的线性学习路径），再用LLM做三件事：无限生成练习题、随时答疑、规划迪士尼式“没有教科书可查”的个性化问题。警惕反向案例：直接让AI替你完成本该挣扎的过程，你会永远停在“初级开发者”象限。
AI的进步从来不是把一个模型无限堆大，而是在pre-training、RL训练、推理时计算三条赛道上同时踩油门——RLVR是那条刚被发现、坡度最陡的新赛道，而看懂赛道的人，才不会被“Scaling已死”的标题党甩下车。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。