> **采集说明**：本轮情报检索工具受限，未能在线复核。以下内容基于 METR、Princeton NLP、OpenAI、CMU、ARC Prize 等机构的公开论文与公告整理，具体数字请以原文为准，链接如失效可按论文标题检索。 ## 导语 你如果最近看国内大模型的发布会，大概率还能听到这样的话：「我们在 SWE-bench 上取得了 XX 分」。但在海外的 Hacker News 和 r/LocalLLaMA 上，这场游戏已经快玩不下去了——社区正在认真讨论「SWE-bench 已死」，并连夜换上了三把新尺子：METR 的任务时长、CMU 的「AI 上班实习」、OpenAI 的「AI 真金白银接单」。这三把尺子量出来的结果，比分数扎心得多：**头部模型在真实职场任务上的自主完成率，长期徘徊在 24% 上下**。这就是本轮要给你的信息差：别人已经不看分数看「能干多久的活」了，而你手里的选型依据还停留在旧大陆。 ## 话题一：SWE-bench 信任危机——70% 之后，分数为什么没法看了 先补一下背景。SWE-bench 是 Princeton NLP 团队在 2023 年 10 月发布的基准（论文标题《SWE-bench: Can Language Models Resolve Real-World GitHub Issues?》，ICLR 2024），做法很聪明：从 Django、SymPy、scikit-learn 等 12 个真实开源仓库里抽出 2294 个 GitHub issue，让模型提交补丁，再用仓库自带的单元测试判卷。它第一次把「AI 修真 bug」变成了可量化的考试，很快就成了所有 AI 编程工具的必考题。 问题出在 2024 到 2025 年：分数涨得太快了。 - 2024 年 8 月，OpenAI 干预了一次，联合发布 **SWE-bench Verified**：人工过滤原题，只留 500 道题，剔除了那些「题目有歧义、测试写得烂」的部分。这一步本身就说明原版有问题。 - 到 2025 年，头部模型在 Verified 版上纷纷冲过 70%。Anthropic 发布 Claude Opus 4 时公布的口径甚至到了 79% 上下（开并行计算的设置）。基准开始「饱和」，判卷难度不够用了。 于是社区吵翻了。把 HN 上历次高赞讨论的观点整理一下，大致三派： **反对派（目前在声量上占优）**，核心指控有三个： 1. **数据污染**。SWE-bench 的题目全部来自 2023 年 10 月之前、且是 Django 这类全球曝光度最高的开源仓库，相关 issue 和修复 PR 大概率混进了各家模型的训练语料。模型可能不是「会修」，而是「背过」。 2. **任务过时**。题目集中在 Python 老框架的单点 bug，和 2026 年的真实工程——多仓库、长上下文、CI/CD、需求扯皮——是两回事。考的是科目二，上的是高速。 3. **测试泄漏**。判卷用仓库自带测试，而测试文件本身可能已被模型见过，等于提前拿到了答案卷的评分标准。 **支持派**认为基准仍有参考价值：Verified 版已人工清洗过，同一把尺子量出来的相对差距还是有意义的，只是「绝对分数」别再当真。 **中立派**的结论最实用：把 SWE-bench 当「下限测试」而不是「能力证明」——70 分说明不了它强，但 30 分一定能说明它弱。 这三条指控里，「污染」是最难自证清白的。社区的应对也直接催生了新一代基准：2025 年出现的 **SWE-bench-Live**（任务全部取自 2024 年之后的真实 PR，模型训练截止日期之前根本不存在这道题）和 **Terminal-Bench**（Laude Institute 与斯坦福合作推出，在真实终端环境里考察多步骤任务）都是冲着「防背题」去的。 用一张图看这个信任崩塌的逻辑链： ```mermaid flowchart TD A["SWE-bench 2023年10月发布"] --> B["成为行业必考题"] B --> C["分数两年内冲破70%"] C --> D["质疑一: 训练数据污染"] C --> E["质疑二: 任务老套过时"] C --> F["质疑三: 测试判卷泄漏"] D --> G["2024年8月 人工精选500题"] E --> G F --> G G --> H["2025年 分数继续饱和"] H --> I["社区弃用 换新尺子"] ``` ## 话题二：METR 的「任务时长」——量的是 AI 能替你撑多久 如果说 SWE-bench 之争是「旧尺子坏掉了」，那 METR 给出的新尺子是这一轮讨论里最有洞察力的。METR（Model Evaluation & Threat Research，一家专门给前沿模型做能力评估的非营利机构）在 2025 年 3 月发布了报告《Measuring AI Ability to Complete Long Tasks》，它问了一个完全不同的问题： **AI 能以 50% 的成功率独立完成的任务，最长是多长的人类工作量？** 结论是一条干净的指数曲线：**这个时长大约每 7 个月翻一倍**。GPT-4 时代，模型只能可靠扛下几分钟就能干完的活；到 2025 年初的头部模型，这个数字涨到了一小时上下。按这个外推，每过一年，AI 能独立承包的任务复杂度就上一个台阶——这比任何基准分数都更能解释「为什么 agent 产品在 2025 年后集中爆发」。 社区对这条曲线的争论也很典型： - **看多的人**把它当成「AI 进度的摩尔定律」，认为时长比分数更接近商业价值——你雇人也是按「能独立负责多大的活」定价的。 - **看空的人**指出两个软肋：其一，任务集是 METR 自选的，集中在可验证的 ML/编程类任务，外推到其他行业要小心；其二，「每 7 个月翻倍」是对少量数据点的拟合，样本少，外推一年的置信区间其实很宽。 - 对我们更有用的是中间派的读法：**别问「哪个模型分数高」，先问「我的任务落在曲线的哪一段」**。十分钟的小活，今天的模型早就过剩；四个小时的多文件重构，才是各家的分水岭。 顺带一提，METR 2025 年还有另一项著名研究（AI 工具让资深开发者在自己熟悉的仓库里反而变慢的 RCT），那篇国内已有不少报道；但「任务时长」这条曲线的讨论度在国内低得多，而它对选型的指导意义其实更大。 ## 话题三：真金白银的评测——让 AI 去接单、去上班 第三波趋势是把考卷直接换成「职场」，两个代表： **SWE-Lancer（OpenAI，2025 年 2 月发布）**。OpenAI 从 Upwork 上采购了真实的自由职业软件工程任务，按市场价标价，总奖池约 50 万美元，考法很残忍：模型干活，按真实客户需求验收计费。据论文数据，当时最强的 Claude 3.5 Sonnet 大约赚走 16.7 万美元——**约三分之一**。也就是说，一项价值 1000 美元的真实外包任务，模型平均只能兑现 300 美元的价值，离「取代接单的自由职业者」还差得远。这套基准的妙处在于完全无法背题：任务采购自真实市场，测试用例由人类专家按验收标准重写。 **TheAgentCompany（卡内基梅隆大学，arXiv 2412.14161）**。这是我最想让你记住的一个：研究者搭建了一家虚构的 AI 公司，里面有自建的内部 wiki、GitLab、RocketChat、 рабочих 文件系统，然后让模型以「实习生」身份入职，去完成 175 个真实职场任务——写代码只是其中一小块，更多的是：查 wiki 找规范、在聊天软件里问同事（扮演者也是 AI）、处理前后依赖的任务、被同事发消息打断。据论文初测，最强模型（Claude 3.5 Sonnet）的**自主任务完成率约 24%**；据项目官网后续更新，2025 年中的头部模型也只推进到 40% 上下。翻译成人话：**AI 距离「能独立上班一天的实习生」，还差着整整一个量级**——而它不是栽在写代码上，是栽在「找不到信息、不会求助、任务链断裂」这些 Agent 的软技能上。 ```mermaid flowchart TD Q["选模型前先问: 我的任务多长"] --> A["10分钟小活"] Q --> B["1小时左右的开发任务"] Q --> C["半天以上的多步骤项目"] A --> A1["现有模型基本过剩 用谁都是降维"] B --> B1["看 SWE-bench Verified 下限"] B --> B2["再看 Terminal-Bench 防背题"] C --> C1["看 METR 任务时长曲线"] C --> C2["参考 TheAgentCompany 软技能短板"] ``` 三派观点放在一起，海外社区这场讨论的共识其实已经浮出来了： | 维度 | 旧尺子（SWE-bench） | 新尺子（时长/接单/上班） | |---|---|---| | 考什么 | 单点修 bug | 长链路自主工作 | | 防背题 | 几乎无效（2023 年前老题） | 强（任务来自模型训练截止后/真实市场） | | 商业含义 | 弱 | 直接对应薪水和外包价格 | | 典型结果 | 头部模型 70%+ | 自主完成率 24%–40% | | 国内引用热度 | 仍然很高 | 明显偏低 | ## 信息差总结 **你知道的**：看发布会记 SWE-bench 分数，谁高选谁。 **别人已经知道的**：分数体系在海外已被认定饱和，选型看三个新维度——任务时长匹配度、真实市场价值兑现率、Agent 软技能完成率；并且大家都默认「70% 分数 = 通过下限测试」而非能力证明。 这中间的落差是实打实的成本：如果你按旧分数选型，很可能为一个「考试型选手」支付订阅费，然后把四个小时的任务交给一个实际只能自主撑 40 分钟的模型，再花三倍时间给它擦屁股——这就是不看新尺子的隐性税。 ## 行动指南 1. **改掉看分习惯**：以后看到 SWE-bench 分数，只认两个版本——Verified（防烂题）和 Live 类（防背题），原版 2294 题的分数直接无视。 2. **做一次「时长审计」**：把你团队里准备交给 AI 的任务列出来，按「人类需要多久」分档。凡是一小时以上的任务，用小样本实测而不是看宣传——让 agent 独立跑，统计你实际介入的次数。 3. **抄 TheAgentCompany 的作业**：不必跑它的完整基准，但它「给 AI 造一个带 wiki、聊天软件、代码托管的小公司」的思路非常便宜可复制——用半天时间给你自己的团队搭一个内部试炼场，比任何第三方榜单都准。 4. **把它写进选型报告**：下次做 AI 工具立项汇报，把「SWE-bench 分数」换成「在我们的 20 个真实历史 issue 上的通过率」+「平均人工介入次数」，说服力完全不同。 5. **持续跟踪三个源**：swebench.com（官方榜单与趋势图）、metr.org（任务时长曲线更新）、arcprize.org（ARC-AGI 系列在推理能力上的另一条战线——ARC-AGI-2 发布后，此前霸榜模型得分一度跌到个位数，同样是「旧分数失灵」的活标本）。 ## 延伸思考 这场「换尺子」运动背后，其实是一个更大的转折：**AI 的能力表述正在从「考试分数」迁移到「劳动经济学」**——任务时长、时薪兑现率、上岗完成率，全是雇佣语境里的词。当社区开始用「雇一个实习生值不值」来给模型定价，意味着 agent 产品的竞争焦点会从模型能力转向工作环境建设（信息可检索、流程可中断、失败可回滚）。TheAgentCompany 里 AI 栽的那 76%，大部分不是模型智力问题，而是「公司环境没给它准备好」。这对做 AI 产品的人是好消息：环境，恰恰是你可以补的那一半。 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 ## 参考来源 1. SWE-bench 原始论文（Princeton NLP，ICLR 2024）：https://arxiv.org/abs/2310.06770 2. OpenAI《Introducing SWE-bench Verified》（2024-08）：https://openai.com/index/introducing-swe-bench-verified/ 3. METR《Measuring AI Ability to Complete Long Tasks》（2025-03）：https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/ 4. TheAgentCompany 论文（CMU）：https://arxiv.org/abs/2412.14161 ｜ 官网：https://the-agent-company.com 5. SWE-Lancer 论文（OpenAI）：https://arxiv.org/abs/2502.12115 ｜ ARC Prize：https://arcprize.org > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。