首页 › programming › 能验证才被AI学会:拆解能力锯齿

能验证才被AI学会:拆解能力锯齿

当一个能重构十万行代码、能挖出零日漏洞的模型,转头告诉你"洗车店离你 50 米,建议步行去"——你就知道,我们对 AI 的能力地图,一直都画错了。

导语:为什么这个视频值得每个程序员停下来看一遍

如果你在 2025 年用 Claude Code、Codex、Cursor 还只是"提效工具",那么 2026 年你应该认真听 Andrej Karpathy 这场炉边访谈。这位 OpenAI 联合创始人、前特斯拉 AI 负责人、Eureka Labs 创始人,在 Sequoia Capital 的 AI Ascent 2026 大会上说出了一句让整个开发者社区震动的话:"作为一个程序员,我从未感到如此落后。"

这不是凡尔赛。他真正想说的是:编程这件事的默认工作流已经变了。不是编程变难了,而是"写代码"本身正在从一个核心技能,降级成 AI 的基础动作;真正稀缺的,变成了另一些东西。

这场约 30 分钟的对谈信息密度极高,Karpathy 把它拆成了三个相互咬合的概念——Software 3.0、可验证性(Verifiability)、Agentic Engineering。本文不搬运,而是把它重组成一套你可以立刻拿来诊断自己工作、判断技术选型、甚至指导职业方向的分析框架。

视频背景卡片

项目 内容
视频标题 Andrej Karpathy: From Vibe Coding to Agentic Engineering w/ Stephanie Zhan
频道 Sequoia Capital(订阅约 22.4 万)
时长 约 30 分钟(29:45)
发布 2026 年 5 月(演讲 2026-04-20,旧金山 AI Ascent)
访谈者 Stephanie Zhan(Sequoia 合伙人)
播放量 发布数周内刷屏,演讲全文 6800+ 词被多家媒体逐句拆解
核心主题 Software 3.0、可验证性、锯齿状智能(Jagged Intelligence)、Agentic Engineering

核心内容拆解

一、2025 年 12 月,是一道"智能体拐点"

Karpathy 说自己整个 2025 年都在用各类 agent 工具,它们"擅长写代码片段,但经常出错,你得手动改"。直到 2025 年 12 月,他度假有时间,密集地试最新模型,发现一个肉眼可见的跃迁:生成的代码块更大、更连贯、更可靠,他甚至记不清上一次纠正 agent 是什么时候了。

这条观察背后是一个被很多人忽视的事实:编程的计量单位变了。过去是"打字,写一行行代码";现在变成了"委派一个宏动作"——实现这个功能、重构这个子系统、研究这个库、搭起这个服务、写测试并跑通修复、对比两种方案并给出计划。

我的延伸判断:很多还在纠结"AI 写的代码对不对"的人,其实卡在了旧的计量单位里。当单位从"行"变成"任务",程序员的角色就从"打字员"变成"项目经理/编排者"。你不再和 AI 比"谁记得住 API",而要比"谁更会把活拆给一群不完美但极快的实习生"。

二、Software 3.0:上下文窗口就是新的"程序"

Karpathy 把软件演进压缩成一条序列,这是全片最值得反复咀嚼的框架:

他举了两个让人醍醐灌顶的例子。第一个是安装脚本:传统世界装一个跨平台的复杂工具,要写一堆 if/else 塞满条件分支的 shell 脚本(Software 1.0 的执念——要精确)。而 Software 3.0 的"安装包",是一段你复制粘贴给 agent 的文字——它读取你的本地环境、自己 debug、适配你的机器、完成安装。

第二个例子 MenuGen 更狠。他用旧范式做了一整套 app:拍照→OCR 菜单名→用图像生成器画菜→在 UI 里渲染,要前端、API、鉴权、支付、部署、密钥管理。而 Software 3.0 版本是什么?拍张照,丢给多模态模型,让它直接把菜品图"画"进菜单像素里。 中间那整个 app 栈,本质上是在给一个"模型现在能直接完成的变换"搭脚手架。

视频原话大意:有些 app 根本不该作为 app 存在。 不要只问"AI 能让我更快地造旧 app 吗",要问"哪些以前不可能的信息变换,现在变得自然了?"

我的解读:这是一个产品判断的核武器。当你想做某个工具时,先问自己——这件事是不是模型一次前向传播就能完成的"媒体到媒体的变换"?如果是,你可能在用 2018 年的思路造 2026 年的废墟。

三、可验证性:这才是全文最硬的核心论点

如果说前两点是"现象",那可验证性(Verifiability)才是 Karpathy 真正想交付的"定律"。一句话:

传统软件自动化"你能规定的(specify)";LLM 自动化"你能验证的(verify)"。

一个任务只要存在自动的奖励/成功信号,模型就能通过强化学习反复练习它。这就是为什么数学、代码、测试、benchmark、游戏这些领域进步飞快——它们可重置、可重复、可打分。

而这条定律直接解释了那个著名的"锯齿状"现象:同一个 SOTA 模型,能重构十万行代码、能挖出零日漏洞,却会一本正经地建议你"步行去 50 米外的洗车店"。原因不是它"傻",而是洗车场景不在它被 RL 训练过的验证回路里。

Karpathy 还补了一个关键修正:能力不仅取决于"能不能验证",还取决于实验室在训练时给没给注意力。他给了一个粗略公式:

能力峰值 ≈ 可验证性 × 训练注意力 × 数据覆盖 × 经济价值

国际象棋的例子很有说服力:从 GPT-3.5 到 GPT-4,很多人以为棋力大涨是"通用智能"自然提升的结果,但实际上很可能是大量棋谱数据被塞进了预训练集。是有人在 OpenAI 决定加这批数据,于是出现了一个能力尖刺。

这对工程师意味着什么:前沿模型没有说明书。它是一个由预训练配比、RL 环境、benchmark 压力、产品优先级、经济激励共同塑造的"产物"。你要做的第一件事,是搞清楚你的任务在不在这个模型的"轨道(rails)"上。在轨道上,它能飞;不在轨道上,它会以令人吃惊的笨拙方式失败。

四、Vibe Coding 抬地板,Agentic Engineering 抬天花板

Karpathy 去年发明了 "vibe coding"(凭感觉编程)这个词。今年他刻意把两件事分开:

视频原话:Vibe coding 不允许你因为"凭感觉"就引入安全漏洞。你对软件依然负有和过去一样的责任,只是现在你可以更快。

他举了一个绝佳的反面案例(MenuGen 的支付 bug):用户用 Google 账号登录、用 Stripe 买积分,两边都有邮箱。agent 试图用邮箱地址把 Stripe 的购买记录和 Google 账号匹配起来。代码完全合理,但系统设计是错的——两个邮箱可以不一样,用户可能买完拿不到积分。正确做法是用持久化的 user ID,而不是邮箱去关联资金。 这种判断,agent 现在还做不出来。

由此推出他对"10x 工程师"的新预言:掌握 agentic 工作流的人,对其他人的领先可能远不止 10 倍。 过去是 10x,现在是 50x、100x 的差距。

五、你可以外包"思考",但不能外包"理解"

访谈结尾那句被反复引用的话,值得贴在显示器上:

You can outsource your thinking, but you can't outsource your understanding.(你可以外包思考,但无法外包理解。)

agent 像实习生,记忆力和执行力极强。Karpathy 自己已经记不清 PyTorch、NumPy、pandas 里 dim vs axis、reshape/permute/transpose/keepdim 这些细节了——因为不需要记,agent 的召回很准。但他仍然必须懂底层:张量有底层存储,你可以操作同一块存储的 view,也可以创建新的存储(效率低),你必须知道什么时候在无谓地拷贝内存。

换句话说,API 细节贬值,底层概念升值。存储、视图、内存拷贝、不变量、身份(identity)、安全边界、系统的"形状"——这些才是你作为"导演"必须握在手里的东西。理解是你当不好导演的唯一原因;信息仍必须真正进入你的大脑,否则你连"该建什么"都判断不了。

他还提了自己的 microGPT 项目(一个零依赖的单文件 Python GPT 训练+推理实现)。有意思的是,他发现让 LLM 把代码进一步简化,简直像拔牙——模型做不到。这恰好印证了可验证性定律的反面:"品味/简化"没有自动的奖励信号,所以它不在 RL 回路里,所以模型在这里就是会卡住。这恰恰是人类价值最集中的地方之一。

六、Ghosts, Not Animals:别把 LLM 当动物

Karpathy 用 "Animals vs. Ghosts" 的框架,提醒人们纠正一个普遍的直觉错误:LLM 不是动物。 它没有生物驱力、没有生存压力、没有自发的玩耍、好奇或内驱力。你冲它吼,它不会做得更好或更差。它是"人类产物的统计模拟",基底是预训练,再在上面焊一层 RL。

为什么要强调这点?因为拟人化的期待会误导我们。这些系统可以这一秒天才、下一秒荒谬。正确的姿态既不是轻蔑,也不是盲信,而是经验主义的熟悉感(empirical familiarity)——搞清楚它在哪行、在哪崩、它是为什被训练的、怎么给它围上护栏。把 AI 当"锯齿状的异形工具",而不是"有点笨的人"或"聪明的神"。

七、Agent-Native 基础设施:别再为"人"写文档了

这是 Karpathy 最"暴躁"的一段,也是对整个 SaaS 行业的警告。他说现在的文档还在写"去这个 URL、点这个按钮、打开设置面板"——但越来越多时候,用户不是人,而是人的 agent。

他主张产品必须有 agent 原生的接口面:Markdown 文档、CLI、API、MCP server、结构化日志、机器可读 schema、可复制粘贴的 agent 指令、安全的权限管理、可审计的动作、无头(headless)的部署流程。

他还提出一个很漂亮的抽象——传感器(sensor)与执行器(actuator):传感器把世界某状态变成数字信息;执行器让 agent 改变某事。未来的技术栈,就是 agent 代表人和组织,在传感器与执行器上运作。

仍用 MenuGen 当标尺:写代码不难,难的是接 Vercel、鉴权、支付、DNS、密钥、生产配置。在成熟的 agent-native 世界里,他应该能说一句"build MenuGen",agent 就把整套部署搞定、无需手点。这就是衡量我们基础设施够不够 agent-native 的终极测试。

八、招聘与创业的连锁影响

最后两点是面向团队和创始人的。招聘要重写:传统的小算法题越来越失配。更好的面试是——给候选人一个大项目(比如"为 agent 写一个 Twitter 克隆,做好做安全"),然后用十个 agent 去攻击他部署的网站,看能不能攻破。这测的是真本事:能不能把活拆给 agent、写有用的 spec、在快的同时守住质量、加固系统、把 agent 当杠杆而不是产出垃圾。

创业的 wedge:去找那些有价值、可验证、但前沿实验室还没重点训练的领域。代码和数学这些显而易见的赛道已被实验室重兵把守,但许多经济上重要的领域,可能藏着还没被开发的、潜在可验证的结构——只要你能造出一个让模型"试动作→收可靠奖励"的环境,你就能用 fine-tune / RL 提升,哪怕基础模型在这里一开始不怎么样。


知识结构图

mindmap
  root((Karpathy:<br/>AI 重写编程))
    拐点
      2025-12 智能体跃迁
      计量单位: 行 → 宏任务
      角色: 打字员 → 编排者
    Software 3.0
      1.0 写规则
      2.0 学权重
      3.0 编程上下文窗口
      例子: 安装脚本→一段文字 / MenuGen 消失
    可验证性定律
      能 specify 的→传统软件
      能 verify 的→LLM
      锯齿状智能: 重构10万行 vs 走路去洗车
      公式: 验证×注意力×数据×价值
    工作流
      Vibe Coding 抬地板
      Agentic Engineering 抬天花板
      MenuGen 邮箱匹配 bug
    人不可外包
      外包思考 不外包理解
      API 贬值 概念升值
      microGPT: 模型不会简化
    基础设施
      为 agent 而非人构建
      传感器 + 执行器
      MCP/CLI/API/Markdown 文档
    招聘与创业
      大项目+对抗式 agent 面试
      找有价值·可验证·未被训练的领域

实战启示:你该怎么把这些用起来

1. 给你的每个任务做"可验证性体检"。 这是最立竿见影的动作。拿到一个任务,先问:它有自动的成功信号吗?测试能跑、benchmark 能打分、diff 能 review?能——放心把它整个交给 agent,建立 eval loop,让它自我迭代。不能——你必须留在 loop 里,把它当需要人类判断的环节。这一步能瞬间帮你重新分配精力:把人花在"不可验证"的高价值判断上,把"可验证"的部分大胆外包。

2. 判断技术选型时,问"我在不在模型的轨道上"。 如果你选的方案大量依赖模型不擅长的、不可验证的推理,要预判它会以离谱方式失败。要么换更"在轨道上"的实现路径,要么自己建一个小型 RL/eval 环境去 fine-tune 补齐。自己的验证环境,就是你真正的护城河。

3. 个人投资方向:把背 API 的精力转到"第一性原理"。 别再死记 dim/axis/keepdim,转去吃透存储与视图、身份与安全边界、系统的整体形状。这些是 agent 替不走的——可验证性定律恰恰说明了,没有奖励信号的"品味/理解",是模型最难追上你的地方。

4. 团队层面,把文档和产品"agent 化"。 为你的服务提供 CLI、API、MCP server、机器可读 schema 和可复制粘贴的 agent 指令。把"点这里"的步骤改成"喂给 agent 的文字"。这是未来谁先用上、谁就降本一截的差异化。

5. 守住质量底线。 无论 agent 多快,你都对安全漏洞和系统设计负最终责任。养成"看 diff、写 spec、跑测试、隔离 worktree、控权限"的纪律——这就是 Agentic Engineering 和"产出垃圾"的分水岭。

延伸学习路径

  1. Karpathy 博客原文:karpathy.bearblog.dev/sequoia-ascent-2026/——他亲自用 LLM 清洗过的访谈全文+摘要,最权威的一手资料。
  2. "Software Is Changing Again" / "Software 3.0" 演讲:Karpathy 把 1.0/2.0/3.0 框架讲得更系统的版本,建议配合观看。
  3. microGPT 仓库:零依赖单文件 GPT 实现,是最好的"把理解压缩进最小可读制品"的范例。
  4. 可验证性主题扩展阅读:搜索 "verifiability reinforcement learning LLM",理解为什么 coding/math 进步快而开放写作慢。
  5. Agent-native 工具链实操:上手一个 MCP server(参考已拆解过的 MCP 协议),亲手把一个内部服务暴露给 agent,体会"传感器/执行器"抽象。

一句话总结

Karpathy 用一句话改写了编程的地图:传统软件自动化"你能规定的",AI 自动化"你能验证的"——所以你的稀缺价值,正从"会写代码"快速迁移到"懂底层、有品味、能协调一群不完美 agent 还守住质量"。


参考来源

  1. Andrej Karpathy: From Vibe Coding to Agentic Engineering w/ Stephanie Zhan — 本文分析的核心视频(Sequoia Capital 频道)
  2. Sequoia Ascent 2026 summary — karpathy.bearblog.dev — Karpathy 本人整理的访谈全文与摘要(一手资料)
  3. Andrej Karpathy on Agentic Engineering: Why He's Never Felt More Behind — websearchapi.ai — 社区深度拆解与补充分析
  4. From Vibe Coding to Agentic Engineering — nodemerge.com — 软件开发转折点视角的延伸解读
  5. AI Ascent 2026 | Sequoia Capital — 大会官方背景与议程

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入