首页 › trending › 三份硬报告,打脸AI提效神话

当国内朋友圈还在转发“AI让程序员效率翻十倍”的时候,海外的Reddit、Hacker News和X上,一场持续一年多的“数据清算运动”已经吵到白热化。这回吵架的双方不再是复读机式的“AI要毁灭一切”和“AI万无一失”,而是甩出论文、 payroll 数据和录屏计时实锤的硬核派。今天拆三场海外社区吵得最凶、但国内讨论热度严重不足的论战:AI到底有没有让人变快、AI先挤掉谁的饭碗、RL微调是真涨能力还是刷分。每一场都有具体数字、具体论文、具体反对意见,看完你至少能少交三个月的信息税。

第一仗:METR报告——越熟练的人,用AI越慢

2025年7月10日,非营利模型评估机构 METR 发布了一份让整个硅谷血压升高的研究:《Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity》(arXiv:2507.09089)。

实验设计相当扎实:16名资深开源开发者,在246个真实任务上随机使用或不使用AI。参与者用的是当时主流配置——Cursor Pro 搭载 Claude 3.5/3.7 Sonnet,全程屏幕录像、逐步计时。项目都是他们深度参与的“老巢”:平均两万多Star的成熟仓库,贡献者普遍有五年以上维护经验。

结果三层反转:

  1. 事前预测:开发者估计用AI能提速24%;
  2. 事后自评:用完之后仍然坚信自己提速了20%;
  3. 实测数据:实际上比不用AI慢了19%。

HN上一条高赞评论把这件事总结为“vibes vs measurements”的对决——感觉效率和真实效率之间隔着一道19%的剪刀差。

各方观点

对中国从业者的启示

国内大量团队把“感觉AI提效了”直接写进周报和立项材料。METR给的教训是:效率必须实测,不能自评。录屏计时这套方法零成本,任何团队都能抄。

flowchart TD
    A["任务开始前问卷"] --> B["预测:提速24%"]
    C["AI辅助写完任务"] --> D["自评:提速20%"]
    E["录屏加逐步计时"] --> F["实测:反而慢19%"]
    B --> G["感觉与实测的剪刀差"]
    D --> G
    F --> G
    G --> H["结论:效率必须实测"]

第二仗:斯坦福“金丝雀报告”——AI最先挤掉的是应届生

2025年8月,斯坦福数字经济实验室发布《Canaries in the Coal Mine?》(煤矿里的金丝雀),作者是王牌经济学家 Erik Brynjolfsson 团队。这份报告用的不是问卷,而是 ADP(美国最大工资单处理商之一)的数百万员工真实工资单数据。

核心发现:在软件开发、客服、会计等AI高暴露职业中,22-25岁群体的相对就业率下滑了13%,而同岗位的资深员工就业保持稳定甚至增长。也就是说,AI冲击的第一波受害者不是四十大岁的架构师,而是刚出校门的应届生。

另一个被低估的发现:把AI当自动化工具(替代人)的公司,初级岗位明显收缩;把AI当增强工具(放大人)的公司,初级岗位几乎没受影响。

各方观点

对中国从业者的启示

这条对个人和团队各有一层:

flowchart TD
    A["ADP百万级工资单数据"] --> B["22至25岁初级岗位"]
    A --> C["资深员工岗位"]
    B --> D["AI高暴露行业:相对下滑13%"]
    C --> E["基本稳定甚至增长"]
    D --> F["替代型用法的公司收缩更狠"]
    E --> G["增强型用法的公司影响很小"]
    F --> H["金丝雀:预警而非判决"]
    G --> H

第三仗:RLVR之争——微调是真涨能力,还是只是刷分?

前两场是“AI对就业效率的影响”,第三场是纯技术内战,但含金量更高:2025年4月挂上arXiv的论文《Does RL Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》(arXiv:2504.13837),直接质疑整个推理模型微调范式(RLVR,即用可验证奖励做强化学习)。

论文的核心武器是 pass@k 指标:同一个问题让模型独立采样k次,只要有一次答对就算过。

结果出现了一个诡异的交叉:

论文派的结论很刺耳:RLVR并没有解锁基座模型不会的新能力,只是把基座“偶尔能蒙对”的答案收编成“稳定答对”——用行话说叫缩小了探索边界。微调更像精华提取器,不是能力生成器。

各方观点

对中国从业者的启示

flowchart TD
    A["RLVR微调模型"] --> B["小k:答得又准又稳"]
    C["基座模型"] --> D["小k:采样很多次才中"]
    A --> E["大k:增益逐渐消失"]
    C --> F["大k:追平甚至反超"]
    B --> G["论文派:RL只是提纯"]
    E --> G
    F --> G
    D --> H["反驳派:难题上追不平"]
    H --> I["可靠性本身才值钱"]
    G --> J["尚未定论:取决于题目难度"]
    I --> J

信息差总结

你以为的 海外社区已经吵明白的
用AI必然更快 资深者在自己的老项目实测慢19%,且自己毫无察觉
AI先取代资深员工 工资单数据显示应届生岗位先缩水13%
RL微调让模型变聪明 大k采样下基座能追平,“提纯还是造能力”至今未决
看榜单就能选模型 pass@k方差、真实任务录屏计时才是海外的新玩法
论战就是骂战 这三场的弹药全是arXiv论文和百万级真实数据

行动指南

  1. 本周:抄METR作业做迷你实验——挑10个真实任务,随机一半用AI一半不用,屏幕录像加计时,一周后看真实剪刀差。成本为零,产出是贵司第一份AI效率实测基线。
  2. 本月:给正在用或正在采购的模型做一次土味pass@k测试——20道核心业务题,每题采样20次,统计“至少对一次”和“平均对几次”的差距,差距越大说明模型越不稳。
  3. 长期:招人端和求职端都按“金丝雀报告”调整——初级岗位JD里减少纯执行类描述,增加“AI工具链+判断力”权重;个人简历同理。
  4. 持续跟踪:METR承诺做更大样本的复测,斯坦福团队会按月更新工资单数据,这两条线是2026年最值得盯的“AI信仰校准器”。

参考来源

  1. METR开发者效率研究论文:https://arxiv.org/abs/2507.09089
  2. METR官网及后续FAQ:https://metr.org
  3. 斯坦福数字经济实验室《Canaries in the Coal Mine?》:https://digitaleconomy.stanford.edu/publications/canaries-in-the-coal-mine/
  4. RLVR能力边界论文:https://arxiv.org/abs/2504.13837
  5. 论战现场:https://news.ycombinator.com 与 https://www.reddit.com/r/LocalLLaMA/

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入