我们正处在一个被AI叙事反复轰炸的时代。打开任何一个科技媒体，你都会读到"AI已经能写代码了""AI要取代白领了""再不学AI就要被淘汰了"。但有一组数据，几乎从来没被主流讨论过：当研究人员把真实的、有人付钱的自由职业项目交给当今最强的几个AI模型去干，结果最强的那个，合格率只有 3.75%——也就是说，它把96.25%的真活搞砸了。
这不是某个反AI网红的情绪化吐槽，而是来自一个叫 ColdFusion 的频道（519万订阅，全网最有深度的科技纪录片频道之一）对一项严肃研究的解读。这项研究叫 Remote Labor Index（远程劳动指数，简称RLI），由 Scale AI 和 Center for AI Safety（AI安全中心） 联合发布，arXiv编号 2510.26787，作者名单里赫然写着 Scale AI CEO Alexandr Wang 和 AI安全领域权威 Dan Hendrycks。
这个视频之所以值得看，是因为它问了一个所有人都该问、却没人系统性回答过的问题：AI在各种benchmark上已经"刷爆"了，那它在真实付费工作上到底值多少钱？ 答案是——目前接近一文不值。这篇文章会把这项研究、ColdFusion的解读，以及我自己的延伸分析一起摊开给你看。
| 项目 | 内容 |
|---|---|
| 视频标题 | AI Fails at 96% of Jobs (New Study) |
| 频道 | ColdFusion（创作者 Dagogo Altraide） |
| 时长 | 约15分钟 |
| 播放量 | 约95万（持续增长） |
| 频道订阅 | 519万 |
| 发布时间 | 2026年7月 |
| 核心主题 | AI在真实付费工作上的实际表现 vs. 炒作的差距 |
| 底层研究 | Remote Labor Index（RLI），Scale AI + CAIS，arXiv:2510.26787 |
这项研究最聪明的地方，在于它的方法简单到让人想拍大腿。研究团队做的事情是这样的：他们从自由职业平台 Upwork 上，找了240个已经被真人接单、完成、交付、并且客户付了钱的真实项目，然后把这些项目的原始需求brief、附带文件（Excel数据、参考图、素材）一模一样地交给AI模型去完成，最后再让真人来评判AI的产出，到底达不达到"可以被客户接受并付款"的标准。
这些项目覆盖面极广：视频制作、CAD制图、平面设计、游戏开发、音频制作、建筑设计、数据分析等等。每个项目平均报价 630美元，最贵的超过 1万美元，最长的需要人类专业人士干 100多个小时。整个RLI基准，代表了超过 6000小时的真实人类劳动，价值超过 14万美元。
（视频观点）ColdFusion的Dagogo说得很到位："为什么从来没有人系统性地比较过，AI和做过完全相同工作的真人，谁干得更好？过去所有的benchmark，都是模拟的人类工作，而不是真实的通用工作。"
（延伸分析）这句话其实点破了一个行业潜规则。过去十年AI研究的繁荣，建立在benchmark之上——MMLU、HumanEval、SWE-bench……模型们在这些"考试"上分数越来越高。但benchmark天然有一个致命缺陷：它们是简化的、单点的、可被针对性优化的。RLI的价值在于，它测量的不是"能力"，而是"经济价值"——客户愿不愿意为这份产出掏钱。这是一个完全不同的坐标系。
到了揭晓成绩的时候，结果可以用"惨烈"来形容。在240个真实项目上：
（视频原话）"The performance was abysmal（表现是灾难性的）。最强的AI是Opus 4.5，合格率3.75%。你没听错，96.25%的失败率，是表现最好的那个。"
Dagogo还补了一句很有分寸感的判断：当这个数字爬到35%到40%的时候，我们再来谈"取代"这件事。 现在的个位数，连讨论的资格都还没有。
（延伸分析）这组数字之所以震撼，是因为它和公众认知之间存在巨大断层。大众看到的是"GPT又通过律师资格考试了""AI拿下奥赛金牌了"，但RLI告诉我们：会考试和会干活，是两回事。 这让我想到AI领域著名的 Moravec's Paradox（莫拉维克悖论） 的一个变体——AI擅长那些人类觉得"需要智力"的抽象任务（写诗、做题），却在那些人类觉得"就是干活"的交付任务上彻底拉胯。原因很简单：交付一个能让客户验收的专业成品，需要的是长链条的、跨格式的、有审美和一致性约束的综合能力，而这是当前LLM架构最薄弱的环节。
研究论文把AI的失败归纳为四个具体的模式，这部分特别值得每一个想用AI干活的人细看，因为它精准地描述了AI在实际工作中"哪里会崩"：
（延伸分析）注意这四个失败模式有一个共同特征：它们都不是"智力"问题，而是"工程执行"问题。 AI不是不知道房子长什么样，而是它无法在多步骤、多文件的协同中维持一个稳定的世界模型。这恰恰印证了后面Yann LeCun的核心批评——LLM是在"模仿人说话"，而不是"理解这个世界"。一个真正理解世界的系统，不会在相邻的两张图里把同一栋房子画成两个样。
研究并非全盘否定。AI在某些领域确实表现出了专业水准：
（视频观点）"主结论是：AI在某些事情上相当不错，但对于通用工作来说糟糕透顶。它是一个节省时间的工具，而不是替代品。"
Dagogo特别提到视频生成正在快速逼近可用，比如 CDance 2.0 这类模型。但他强调的核心判断没有变：AI是工具，不是同事。
（延伸分析）这其实勾勒出了一个非常清晰的"AI能力地形图"：凡是输入输出边界清晰、单步可验证、容错率高的任务（写文案、出Logo、抓数据），AI已经是合格的助手；凡是需要长链条交付、多文件一致性、专业审美闭环的任务（做一个能交付的建筑方案、一个完整的游戏、一支可用的视频），AI目前基本是负资产——你花在"修AI的烂摊子"上的时间，可能比自己重做还长。
整个视频里最具穿透力的一句话，来自论文原文：
"While AI systems have saturated many existing benchmarks, we find that state-of-the-art AI agents perform near the floor on RLI." （当AI系统已经让许多现有基准测试"饱和"的同时，我们发现最先进的AI智能体在RLI上的表现，接近地板。）
（延伸分析）这一句话，几乎是对整个AI行业过去三年叙事的降维打击。"饱和"的意思是：传统benchmark的题目，模型已经做到接近满分，分数再也涨不动了，不是因为模型到顶，而是因为题目太简单。而"接近地板"的意思是：换到真实付费工作的坐标系里，最强的模型也几乎是 0分。
这中间的鸿沟，本质上是 Goodhart's Law（古德哈特定律） 在AI领域的完美演示——当一个指标变成了被优化的目标，它就不再是好指标。 当全行业都在疯狂刷MMLU、刷HumanEval的分数时，这些分数和"能不能交付真实工作"之间的相关性，已经被掏空了。RLI之所以重要，正是因为它重新建立了一个难以被投机取巧优化的、锚定真实经济价值的坐标。这大概也是Scale AI（一家靠数据标注和评测起家的公司）愿意投入巨资做这件事的根本动机——谁掌握了下一代评测标准，谁就掌握了定义"AI到底有多强"的话语权。
视频的后半段，Dagogo把镜头从实验室拉回到了商业世界，列举了一连串"AI炒作撞墙"的真实信号：
（视频观点）"上层管理者和CEO只是命令员工去用AI，然后指望它自己就能跑起来。但AI要在企业里真正发挥作用，需要有计划、有技能地部署，并且要清楚它的短板。而这一点，很多时候根本没发生。"
（延伸分析）这里有一个被严重低估的经济学问题：AI的部署成本，从来不只是API调用费。 真正的成本包括——重新设计工作流、培训员工识别AI的失败模式、建立人工审核闭环、以及为AI的错误善后。当一家公司只看到"AI能写代码"却没看到"AI写的烂代码需要高级工程师返工"时，账面上当然看不到回报。这是典型的 iceberg cost（冰山成本）：可见的部分很小，水面下的部分足以让项目沉没。
视频里Dagogo抛出了一个极具哲学意味的判断：
"We're fooled into thinking those machines are intelligent because they can manipulate language. And we're used to the fact that people who can manipulate language very well are implicitly smart. But we're being fooled." （我们被骗去以为这些机器是智能的，因为它们能操控语言。而我们又习惯性地认为，能熟练操控语言的人 implicitly 就是聪明的。但我们正在被骗。）
他举了一个我认为是全片最有杀伤力的例子：把整个互联网（包括所有棋类规则、上百万盘棋谱）都喂给模型训练，它依然会走出 illegal moves（不合规则的棋）。 它从来没有真正抽象出"棋是怎么运作的"那个心智模型。
这段话其实是引用了深度学习三巨头之一 Yann LeCun（杨立昆） 的观点。LeCun在视频中说：
"Large language models are about mimicking people, doing what people say you should do. They're not about figuring out what to do. Reinforcement learning is about understanding your world, whereas LLMs are about mimicking... Just to mimic what people say is not really doing." （大语言模型是在模仿人，做人们说你该做的事。它们不是在搞清楚该做什么。强化学习是为了理解你的世界，而LLM是在模仿……仅仅模仿别人说的话，并不算是真正的"做"。）
（延伸分析）LeCun的这番话，触及了当前AI架构最根本的争议。LLM本质上是一个超级强大的"语言预测器"——它擅长生成"听起来像那么回事"的文本，但它内部并没有一个关于物理世界、因果关系、状态一致性的"世界模型（world model）"。这就是为什么它能写出流畅的棋评，却会走出非法的棋步；能生成漂亮的户型图描述，却画不出两张自洽的图。语言流畅性 ≠ 认知能力，这是普通人最容易、也最愿意上当的一个幻觉。
视频最后，Dagogo和LeCun一起做了一个历史的回望，这一段特别冷静：
"从1950年代起，一代又一代的AI科学家，都声称他们刚发现的技术，将是通向人类水平智能的门票。Marvin Minsky、Newell and Simon、发明感知机的Frank Rosenblatt……都说'十年内我们就会有和人一样聪明的机器'。他们全都错了。 这一届用LLM的人，也会错。我在有生之年已经见证了三代这样的轮回。"
（延伸分析）这是所谓的 "AI seasonal（AI的周期寒冬）" 视角。AI历史上已经经历过至少两次"寒冬"——1970年代和1990年代，都是因为炒作远超实际能力、资金撤出导致的行业崩盘。每一次高潮，都有人宣称"这次不一样"；每一次，也都有人因为相信"这次不一样"而血本无归。LeCun提醒的核心是：当前LLM架构正在逼近它的能力天花板（即"scaling problem"，规模法则失灵），单纯往里堆数据、堆算力，可能解决不了根本问题，需要的是基础研究层面的突破。
但这并不意味着AI没用。Dagogo和LeCun都反复强调：AI在窄领域（写作、编码辅助、数学、图像音频）确实强大且实用，问题出在"它被宣传成能立刻取代所有人"这种叙事上。
flowchart TD
A[核心命题：AI到底值多少真金白银？] --> B[研究方法：Remote Labor Index RLI]
A --> H[结论：AI是工具 非替代]
B --> B1[来源：Upwork真实付费项目]
B --> B2[规模：240项目 均价630美元]
B --> B3[总价值：6000+小时 14万美元]
B --> B4[评判：真人验收 是否值得付款]
B4 --> C[结果：96.25%翻车]
C --> C1[最强Opus 4.5：3.75%合格]
C --> C2[最弱Gemini：1.25%合格]
C --> C3[35-40%才配谈取代]
C --> D[四种失败模式]
D --> D1[文件损坏/格式错误]
D --> D2[交付不完整 8秒vs8分钟]
D --> D3[质量不达标]
D --> D4[前后不一致]
C --> E[基准-现实鸿沟]
E --> E1[传统benchmark已饱和]
E --> E2[真实工作却接近地板]
E --> E3[Goodhart定律：指标变成目标就失效]
C --> F[擅长领域 窄而锋利]
F --> F1[创意：音频/图像/写作]
F --> F2[数据检索/抓取]
F --> F3[Logo/广告/报告]
C --> G[商业反噬信号]
G --> G1[PwC: 多数CEO看不到回报]
G --> G2[微软30%AI代码→史上最差质量]
G --> G3[Gartner: 一半公司将重新招人]
G --> G4[FDA: 100起医疗事故]
H --> I[根因：语言的幻觉]
I --> I1[LLM在模仿 而非理解]
I --> I2[无世界模型→走非法棋步]
I --> I3[LeCun: scaling problem逼近天花板]
I --> I4[历史: 三代AGI预言全落空]
这个视频最大的价值，不是让你对AI绝望，而是给你一把校准预期的尺子。基于研究结论和我的延伸分析，给你几条可直接落地的行动指南：
第一，重新定位你和AI的关系：从"替代焦虑"切换到"杠杆思维"。 既然AI在通用真实工作上96%会失败，那它就不是来抢你饭碗的同事，而是一把某些场景极锋利、某些场景完全没用的工具。你的策略应该是：把AI嵌进你工作流中那些"输入输出清晰、单步可验证"的环节（起草文案、抓数据、出初稿、查资料），而把"专业判断、一致性把控、最终交付"牢牢握在自己手里。
第二，建立"AI产出审核"的肌肉记忆。 RLI揭示的四种失败模式（文件损坏、不完整、质量差、不一致）是可以被系统性检测的。把AI交付物的验收清单固定下来：文件能不能打开？组件齐不齐？质量过不过关？前后逻辑一不一致？把"信任但核实（trust but verify）"变成默认动作，能帮你避开90%的AI翻车。
第三，如果你是技术从业者，Dagogo给了一个金点子。 视频结尾他说："如果你是软件工程师，去开一家专门修复 vibe-coded apps（AI乱写的应用）的公司，你会赚很多钱。" 这不是玩笑——当大量非专业人士用AI生成出一堆能跑但满是隐患的代码时，"AI代码善后服务"将成为一个真实的、增长极快的市场。RLI的数据本质上在说：人类专业判断的稀缺性，不但没有下降，反而在AI泛滥的时代被放大了。
第四，对企业决策者的提醒：算清冰山成本。 不要被"AI能省人力"的表面账迷惑。真正的成本是工作流重构、员工培训、错误善后、合规风险（FDA那100起医疗事故就是警告）。有计划、有技能、知道短板的部署，才可能看到回报；命令式地"全员用AI"，大概率会重蹈微软软件质量滑坡的覆辙。
第五，作为投资者/观察者，警惕叙事与数据的脱节。 当Anthropic、Google、微软要花40万到50万美元去赞助单个内容创作者宣传自家模型时（视频援引CNBC报道），你应该问一个问题：如果这代AI真有宣传的那么革命性，他们需要花这么多钱来说服我们吗？ 这种"jarring disconnect（刺眼的脱节）"，往往是泡沫见顶的信号之一。
这个视频用一份让最强AI翻车96%的严肃研究告诉你：会刷题的AI和能干活的AI之间，隔着一整条还没建好的路——在它修好之前，你的专业判断力，比任何模型都值钱。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护，聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。
注意事项： - 视频发布日期：podscripts标注为2026-07-05（符合"近7天"），但YouTube搜索快照显示"约2个月前"，存在出入；正文已用"2026年7月/近期发布"模糊处理，未过度承诺确切日期。如需精确日期，建议直接核对YouTube页面 - WebSearch与MCP webReader均于本周限额耗尽（7月18日重置），后续轮次建议继续以ducksearch为主搜索通道
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。