采集说明：本轮情报检索工具受限，未能在线复核。以下内容基于 METR、Princeton NLP、OpenAI、CMU、ARC Prize 等机构的公开论文与公告整理，具体数字请以原文为准，链接如失效可按论文标题检索。
你如果最近看国内大模型的发布会，大概率还能听到这样的话：「我们在 SWE-bench 上取得了 XX 分」。但在海外的 Hacker News 和 r/LocalLLaMA 上，这场游戏已经快玩不下去了——社区正在认真讨论「SWE-bench 已死」，并连夜换上了三把新尺子：METR 的任务时长、CMU 的「AI 上班实习」、OpenAI 的「AI 真金白银接单」。这三把尺子量出来的结果，比分数扎心得多：头部模型在真实职场任务上的自主完成率，长期徘徊在 24% 上下。这就是本轮要给你的信息差：别人已经不看分数看「能干多久的活」了，而你手里的选型依据还停留在旧大陆。
先补一下背景。SWE-bench 是 Princeton NLP 团队在 2023 年 10 月发布的基准（论文标题《SWE-bench: Can Language Models Resolve Real-World GitHub Issues?》，ICLR 2024），做法很聪明：从 Django、SymPy、scikit-learn 等 12 个真实开源仓库里抽出 2294 个 GitHub issue，让模型提交补丁，再用仓库自带的单元测试判卷。它第一次把「AI 修真 bug」变成了可量化的考试，很快就成了所有 AI 编程工具的必考题。
问题出在 2024 到 2025 年：分数涨得太快了。
于是社区吵翻了。把 HN 上历次高赞讨论的观点整理一下，大致三派：
反对派（目前在声量上占优），核心指控有三个：
支持派认为基准仍有参考价值：Verified 版已人工清洗过，同一把尺子量出来的相对差距还是有意义的，只是「绝对分数」别再当真。
中立派的结论最实用：把 SWE-bench 当「下限测试」而不是「能力证明」——70 分说明不了它强，但 30 分一定能说明它弱。
这三条指控里，「污染」是最难自证清白的。社区的应对也直接催生了新一代基准：2025 年出现的 SWE-bench-Live（任务全部取自 2024 年之后的真实 PR，模型训练截止日期之前根本不存在这道题）和 Terminal-Bench（Laude Institute 与斯坦福合作推出，在真实终端环境里考察多步骤任务）都是冲着「防背题」去的。
用一张图看这个信任崩塌的逻辑链：
flowchart TD
A["SWE-bench 2023年10月发布"] --> B["成为行业必考题"]
B --> C["分数两年内冲破70%"]
C --> D["质疑一: 训练数据污染"]
C --> E["质疑二: 任务老套过时"]
C --> F["质疑三: 测试判卷泄漏"]
D --> G["2024年8月 人工精选500题"]
E --> G
F --> G
G --> H["2025年 分数继续饱和"]
H --> I["社区弃用 换新尺子"]
如果说 SWE-bench 之争是「旧尺子坏掉了」，那 METR 给出的新尺子是这一轮讨论里最有洞察力的。METR（Model Evaluation & Threat Research，一家专门给前沿模型做能力评估的非营利机构）在 2025 年 3 月发布了报告《Measuring AI Ability to Complete Long Tasks》，它问了一个完全不同的问题：
AI 能以 50% 的成功率独立完成的任务，最长是多长的人类工作量？
结论是一条干净的指数曲线：这个时长大约每 7 个月翻一倍。GPT-4 时代，模型只能可靠扛下几分钟就能干完的活；到 2025 年初的头部模型，这个数字涨到了一小时上下。按这个外推，每过一年，AI 能独立承包的任务复杂度就上一个台阶——这比任何基准分数都更能解释「为什么 agent 产品在 2025 年后集中爆发」。
社区对这条曲线的争论也很典型：
顺带一提，METR 2025 年还有另一项著名研究（AI 工具让资深开发者在自己熟悉的仓库里反而变慢的 RCT），那篇国内已有不少报道；但「任务时长」这条曲线的讨论度在国内低得多，而它对选型的指导意义其实更大。
第三波趋势是把考卷直接换成「职场」，两个代表：
SWE-Lancer（OpenAI，2025 年 2 月发布）。OpenAI 从 Upwork 上采购了真实的自由职业软件工程任务，按市场价标价，总奖池约 50 万美元，考法很残忍：模型干活，按真实客户需求验收计费。据论文数据，当时最强的 Claude 3.5 Sonnet 大约赚走 16.7 万美元——约三分之一。也就是说，一项价值 1000 美元的真实外包任务，模型平均只能兑现 300 美元的价值，离「取代接单的自由职业者」还差得远。这套基准的妙处在于完全无法背题：任务采购自真实市场，测试用例由人类专家按验收标准重写。
TheAgentCompany（卡内基梅隆大学，arXiv 2412.14161）。这是我最想让你记住的一个：研究者搭建了一家虚构的 AI 公司，里面有自建的内部 wiki、GitLab、RocketChat、 рабочих 文件系统，然后让模型以「实习生」身份入职，去完成 175 个真实职场任务——写代码只是其中一小块，更多的是：查 wiki 找规范、在聊天软件里问同事（扮演者也是 AI）、处理前后依赖的任务、被同事发消息打断。据论文初测，最强模型（Claude 3.5 Sonnet）的自主任务完成率约 24%；据项目官网后续更新，2025 年中的头部模型也只推进到 40% 上下。翻译成人话：AI 距离「能独立上班一天的实习生」，还差着整整一个量级——而它不是栽在写代码上，是栽在「找不到信息、不会求助、任务链断裂」这些 Agent 的软技能上。
flowchart TD
Q["选模型前先问: 我的任务多长"] --> A["10分钟小活"]
Q --> B["1小时左右的开发任务"]
Q --> C["半天以上的多步骤项目"]
A --> A1["现有模型基本过剩 用谁都是降维"]
B --> B1["看 SWE-bench Verified 下限"]
B --> B2["再看 Terminal-Bench 防背题"]
C --> C1["看 METR 任务时长曲线"]
C --> C2["参考 TheAgentCompany 软技能短板"]
三派观点放在一起，海外社区这场讨论的共识其实已经浮出来了：
| 维度 | 旧尺子（SWE-bench） | 新尺子（时长/接单/上班） |
|---|---|---|
| 考什么 | 单点修 bug | 长链路自主工作 |
| 防背题 | 几乎无效（2023 年前老题） | 强（任务来自模型训练截止后/真实市场） |
| 商业含义 | 弱 | 直接对应薪水和外包价格 |
| 典型结果 | 头部模型 70%+ | 自主完成率 24%–40% |
| 国内引用热度 | 仍然很高 | 明显偏低 |
你知道的：看发布会记 SWE-bench 分数，谁高选谁。 别人已经知道的：分数体系在海外已被认定饱和，选型看三个新维度——任务时长匹配度、真实市场价值兑现率、Agent 软技能完成率；并且大家都默认「70% 分数 = 通过下限测试」而非能力证明。
这中间的落差是实打实的成本：如果你按旧分数选型，很可能为一个「考试型选手」支付订阅费，然后把四个小时的任务交给一个实际只能自主撑 40 分钟的模型，再花三倍时间给它擦屁股——这就是不看新尺子的隐性税。
这场「换尺子」运动背后，其实是一个更大的转折：AI 的能力表述正在从「考试分数」迁移到「劳动经济学」——任务时长、时薪兑现率、上岗完成率，全是雇佣语境里的词。当社区开始用「雇一个实习生值不值」来给模型定价，意味着 agent 产品的竞争焦点会从模型能力转向工作环境建设（信息可检索、流程可中断、失败可回滚）。TheAgentCompany 里 AI 栽的那 76%，大部分不是模型智力问题，而是「公司环境没给它准备好」。这对做 AI 产品的人是好消息：环境，恰恰是你可以补的那一半。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。