2025年7月,AI评测机构METR发布了一份让整个硅谷血压升高的研究报告:16名资深开源程序员在真实项目上使用AI工具,结果不是提速,而是平均慢了19%——而他们自己还以为快了24%。这份报告在Hacker News和Reddit上引发的争吵,一年多来每隔几周就要死灰复燃一次。国内很多人只刷到过标题,没见过完整的论战地图:反方怎么质疑这份研究?正方拿出了哪些配套证据?到了Agent时代,这场架的争议焦点又变成了什么?这篇文章帮你把整场争论一次看完,并且告诉你哪些结论可以直接抄进自己的工作流。
先说清楚实验设计,因为后面所有争吵都围绕着它展开。据METR官网(metr.org)2025年7月发布的博客,这是一次随机对照试验(RCT),核心设置如下:
结果有三层,一层比一层扎心:
也就是说:开发者高估了AI,AI高估了AI,只有秒表没被骗。这个“体感与现实的巨大裂缝”才是这份研究真正出圈的原因。
flowchart TD
A["接到一个编码任务"] --> B{"这个代码库你熟吗?"}
B -->|"成熟大仓库,闭眼都能改"| C{"任务属于哪类?"}
B -->|"自己从零搭的小项目"| D{"逻辑已经想清楚了吗?"}
C -->|"跨模块重构、牵一发动全身"| E["AI收益为负:上下文喂不进,人工审核成本超过省下的时间"]
C -->|"写新文件、补测试、独立脚本"| F["AI提速明显,放心用"]
D -->|"已经想透了,一口气能写完"| G["AI大概率拖慢你:口述需求比手打还慢"]
D -->|"方向模糊,边写边试"| H["AI当橡皮鸭加模板机,有收益"]
E --> I["结论:不是AI不行,是场景不匹配"]
F --> J["结论:这是AI的主场"]
G --> I
H --> J
报告一出,YouTube和X上迅速形成了“质疑派”,代表人物是程序员圈网红Theo(t3.gg)和Evan Conrad。Evan那期回应视频标题起得很有攻击性——《This Study Will Make You Angry》(这个研究会让你们生气)。综合HN讨论区数万条评论,质疑点集中在四个:
1. 样本太小,仓库太特殊。 16个人,而且全是维护成熟大仓库的老手。HN上被引用最多的反驳是:这批人 working 的仓库往往测试严格、代码规范苛刻,AI生成代码过不了review,返工成本自然高。这不是AI没用,是这类仓库天然排斥AI。
2. 时间窗口尴尬。 实验主要在2025年上半年进行,主力模型是Claude 3.7 Sonnet一代。而模型能力在那一年里更新极快,质疑派认为拿半年前的模型成绩否定“现在的AI”,有点像用初代iPhone评测移动互联的未来。
3. 工作流不对。 Theo等人的核心论点:这些老手把AI当成“打字加速器”用——在IDE里一步步补全,然后逐行纠错。而AI真正拉开差距的用法是委派式的:把整个Issue扔给Agent,自己转身去干别的事。前者慢19%不奇怪,后者根本没被测到。
4. METR自己也承认边界。 值得表扬的是,METR在报告里就写明了局限性:结论不适用于所有场景,尤其不保证推广到新手或从零开发。但传着传着,标题就变成了“AI编码是骗局”。
支持方没有被“样本小”这个理由说服,因为METR不是孤证。HN和Reddit上被反复引用的配套证据至少有三条:
1. GitClear的代码质量报告。 据代码分析公司GitClear分析海量代码提交后的2025年度报告,AI辅助编码普及后,仓库里的代码复制粘贴量首次超过了重构搬移量,重复代码率明显上升——简单说,AI让人更容易“堆”代码而不是“改”代码。
2. Google DORA报告。 Google每年的DORA(DevOps研究与评估)报告发现:AI采用率与个人生产力感知正相关,但与交付稳定性负相关——用AI越多,系统变更失败率和返工率越高。2025版报告进一步显示几乎所有开发者都已用上AI,稳定性担忧却没有消失。
3. Addy Osmani的“70%问题”。 这位Google Chrome团队的工程领袖写的那篇《The 70% Problem》在社区刷屏:AI能帮你飞快完成70%——搭骨架、写样板、生成测试——但剩下30%(边界情况、架构权衡、安全审查)恰恰是AI最弱、最需要资深工程师的部分。结论是AI拉大了新手和高手之间的产出差距,而不是消灭差距。
还有一条来自开发者信任度调查的方向:Stack Overflow 2025年度开发者调查显示,对AI输出准确性的信任度不升反降,多数开发者表示被AI“几乎正确”的答案坑过——那种看起来对、实则差一口气的代码,review成本最高。
对立面的极端版本也很出名:Anthropic CEO Dario Amodei在2025年3月公开说过“三四个月内AI将编写90%的代码”,而Linux内核的资深维护者则分享过自己如何靠AI处理从未接触过的子系统。同一个人群,感知撕裂到这个程度,本身就说明大家说的不是同一件事。
把时间线拉到2026年,海外社区的争论焦点其实已经悄悄升级了。当初吵的是“AI助手会不会拖慢你”——前提是人坐电脑前一步步操作。而现在的主流工作流变成了“你同时监督几个Agent”:
HN上有个高赞评论概括得很妙:“19%变慢的研究测量的是骑马的人换了更好的马鞍;而汽车已经在隔壁车道上跑起来了。” 换成中文语境:别纠结AI补全值不值,去研究Agent委派怎么管。
| 维度 | 国内传播的版本 | 海外社区吵完一年后的共识雏形 |
|---|---|---|
| AI编码效果 | 要么“效率翻倍”要么“完全没用”,两个极端 | 强依赖任务类型:陌生仓库大改动为负,独立新文件为正 |
| 谁被拖慢 | 无人讨论 | 恰恰是最资深、仓库最成熟的老手 |
| 体感可信度 | “我用着快就是快” | 体感系统性不可信,METR实测差值高达40多个百分点 |
| 正确用法 | IDE里逐行补全 | 委派式Agent工作流+人工验收,资深度用在review上 |
| 未来判断 | “AI马上取代程序员”或“AI永远不行” | 任务时长每约7个月翻倍,两边都在盯着秒表 |
这场争论对中国开发者还有一层少有人提的启示:海外社区的价值恰恰在于他们敢公开打脸自己。METR是一个AI加速派云集的机构,却发布了最不利于自家立场的实验;Theo和Evan是靠AI工具圈粉的博主,却逐帧挑刺对自己流量有利的研究。这种“先假设自己错了”的社区文化,比任何单一结论都更值得抄。下次再刷到“AI取代程序员”或者“AI是泡沫”的爆款文,先问一句:有没有RCT?有没有秒表?有没有对手方证据?
参考来源
注:文中研究数据均来自上述机构公开发布内容;个别细节(如具体百分比口径)以各机构原文为准,未逐条二次核验。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
