## 概述 2026年初，AI Agent评测体系经历了一场地震级的崩塌。OpenAI在2月宣布放弃SWE-bench Verified——这个曾是Agent能力"黄金标准"的基准——原因是对59%测试用例检测到数据污染。当排除了泄露解法后，部分模型的分数从51%暴跌至26%。这不是一个孤立事件，而是整个Agent评测范式系统性失效的信号：单一基准饱和、数据污染扩散、短任务到长任务的断崖、离线分数到线上合并率的鸿沟。在废墟之上，八条新评测赛道正在重建：SWE-bench Pro、τ²-Bench、PaperBench、RE-Bench、Terminal-Bench 2.0、CORE-Bench、HCAST、GAIA Level 3。本文逐层拆解每条赛道的架构原理、当前成绩、核心局限，以及从基准到生产门禁的转换路径。 --- ## 一、崩塌：SWE-bench Verified的污染危机 SWE-bench Verified曾是Agent编码能力的"圣杯"。它从GitHub真实Issue中提取500个经过人工验证的测试用例，要求Agent阅读代码库、定位Bug、编写补丁并通过测试。2024年发布时，顶级模型仅能解决不到30%的问题。然而到2025年底，排行榜上的数字开始失控——GPT-4o突破70%，Claude Sonnet冲上72%，Devin声称达到50%+。业界欢呼"Agent编码能力指数级增长"。 OpenAI在2026年2月23日投下炸弹。其内部审计发现SWE-bench Verified存在严重的数据污染（data contamination）： - **训练集渗透**：SWE-bench的问题和解答来自GitHub公开仓库，而这些代码已被纳入多数模型的训练语料 - **Agent脚手架过拟合**：大量Agent框架专门针对SWE-bench的评测流程调优——特定的仓库结构、测试框架、Issue模板——形成"刷分"而非"提能" - **分数虚高20-50%**：arXiv论文2510.08996的基准变异实验证明，传统基准高估Agent能力20-50% ```python # bench-cleanser检测工具的污染分类标签 TRAJECTORY_LABELS = [ "genuine_solve", # 真实解题 "memorized_solve", # 记忆泄露解题 "partial_leak", # 部分泄露 "test_overfit", # 测试过拟合 "pattern_match", # 模式匹配 "lucky_guess", # 幸运猜测 "tool_exploit", # 工具利用漏洞 "invalid" # 无效提交 ] ``` OpenAI的最终决定是彻底停止报告SWE-bench Verified分数，转而采用SWE-bench Pro。这一决定在社区引发连锁反应——如果连基准的创建维护者都认为它不再可信，那么所有基于SWE-bench Verified的排名、对比、选型决策都需要重新审视。 --- ## 二、重建赛道全景：八大赛道对比 | 维度 | SWE-bench Pro | τ²-Bench | PaperBench | RE-Bench | Terminal-Bench 2.0 | CORE-Bench | HCAST | GAIA L3 | |------|---------------|----------|------------|----------|--------------------|------------|-------|---------| | **评测目标** | 长周期代码Issue | 双控对话Agent | 论文复现 | AI研发能力 | CLI自主操作 | 计算可复现性 | 人类对标任务 | 通用推理 | | **任务时长** | 1-8小时 | 10-30分钟 | 数小时-数天 | 8小时 | 30分钟-2小时 | 1-4小时 | 1-8小时 | 30分钟+ | | **最高分** | 77.8% (Claude Mythos) | ~55% (GPT-5.5) | 21.0% | ~40% (Claude Opus) | ~62% | ~45% | ~30% | ~48% | | **评测维度** | 代码+测试+PR | 工具调用+用户协作 | 代码+实验+写作 | 研发子任务 | 命令行操作 | 环境+代码+结果 | 多步推理+执行 | 推理+工具+搜索 | | **防污染** | 动态任务生成 | 模拟用户变化 | 全新论文 | 私有数据集 | 容器隔离 | 新数据集 | 动态组合 | 新Level | | **适用场景** | 编码Agent选型 | 客服Agent评估 | 科研Agent | 前沿能力评估 | DevOps Agent | 科研可复现 | 通用能力 | 通用Agent | --- ## 三、深度拆解八大赛道 ### 3.1 SWE-bench Pro：继任者的野心与隐忧 SWE-bench Pro由Scale AI和学术界联合推出，核心设计哲学是"让评测回归难度"。它继承了SWE-bench Verified的最佳实践，但在三个维度做了根本性升级： **任务复杂度跃迁**。SWE-bench Verified的问题平均解决时间在30分钟以内（人类工程师标准），而SWE-bench Pro引入了1-8小时级别的长周期任务。这直接击中了"短任务高分、长任务崩溃"的痛点——tianpan.co的分析表明，SWE-bench Verified上75%的模型在长于1小时的任务中成功率跌破25%。 **动态任务管道**。SWE-rebench论文（arXiv 2505.20411）提出了自动化任务采集管道，从GitHub持续提取新的Issue-PR对，生成评测用例。这意味着训练数据一旦被纳入基准，后续模型版本就会在"新"任务上被评测，从根源上切断污染路径。 **当前格局**：Claude Mythos Preview以77.8%领先，GPT-5.5约64.3%，Gemini 3.1 Pro约55%。但要注意，这些分数仍然来自相对"干净"的初期版本——随着更多模型参与，分数膨胀的历史是否会重演，仍是未知数。 ### 3.2 τ²-Bench：双控对话的范式革命 τ²-Bench（Tau Squared Bench）是Sierra AI推出的第二代对话Agent评测框架，它的核心创新是"双控"（dual-control）环境。 传统的对话Agent评测（包括τ-bench第一代）模拟的是"单控"环境——只有Agent在调用工具、执行操作，用户只是被动回答问题。但真实场景远非如此。在一个客服场景中： ``` 用户: "帮我改签航班" Agent: [调用改签API] → 确认航班有余票 用户: [同时也在APP上操作] → 自己也点了改签 Agent: [再次调用] → 报错：座位已被锁定 ``` τ²-Bench模拟的就是这种"双方同时行动"的混乱现实。它引入了一个模拟用户Agent（由LLM驱动），与被测Agent同时与后端系统交互。评测不仅看"任务是否完成"，还看"Agent是否正确处理了冲突、竞态、信息不对称"。 **架构设计**： ```mermaid graph TB subgraph "τ²-Bench 双控架构" U[模拟用户
LLM驱动] -->|对话+操作| SIM[模拟环境
数据库+API] A[被测Agent] -->|工具调用| SIM U <-->|自然语言| A SIM -->|状态快照| EVAL[评测引擎] A -->|轨迹日志| EVAL U -->|操作日志| EVAL EVAL -->|一致性+完整性
+鲁棒性| SCORE[分数] end ``` 当前τ²-Bench在电信（Telecom）和零售领域提供评测，已有23个模型提交成绩，领先者约55%。值得注意的是，从τ-bench到τ²-Bench，同一模型的分数通常下降15-25%——双控环境的复杂度代价可见一斑。 ### 3.3 PaperBench：AI复现AI论文的终极考试 OpenAI推出的PaperBench可能是2026年最硬核的Agent评测。它的任务描述极其简洁：**给Agent一篇ICML 2024论文，让Agent从零复现**。 这包含了一连串极其复杂的子任务： - 阅读理解论文的方法论和实验设计 - 搭建完整的实验环境（依赖安装、GPU配置、数据准备） - 编写论文中描述的所有模型和训练代码 - 复现实验结果，使指标在合理误差范围内 - 撰写实验报告，与原论文对比 PaperBench使用20篇ICML 2024的Spotlight和Oral论文作为测试集，评测体系采用分层打分——每个子任务（代码实现、数据管道、训练循环、评估指标、结果匹配）都有独立评分，最后汇总。 **结果令人清醒**：最好的Agent仅得21.0%，而人类专家基线约为41.3%。这意味着当前最强的自主Agent在"复现一篇顶会论文"这项任务上，只能完成不到一半的工作，且其中很多是"看起来对但实际有Bug"的部分。 ### 3.4 RE-Bench：AI研发能力的度量衡 RE-Bench由METR（前ARC Evals团队）推出，聚焦于一个极具前瞻性的问题：**AI Agent能否自主完成AI研究工作？** 这不是抽象的学术追问。如果AI Agent能自主完成模型训练、超参搜索、架构设计、实验分析，那么AI研发的自动化就有了量化依据，同时也对安全治理提出了迫切需求。 RE-Bench包含7个核心任务： | 任务 | 描述 | 人类基线时间 | |------|------|------------| | 优化训练内核 | 提升CUDA kernel性能 | 8小时 | | 小模型微调 | 在限定算力下最大化指标 | 4小时 | | 梯度压缩 | 实现高效梯度压缩算法 | 6小时 | | Triton kernel | 编写优化的Triton kernel | 8小时 | | Scaling law预测 | 从小规模实验预测大模型表现 | 4小时 | | 评分函数设计 | 设计鲁棒的比赛评分函数 | 6小时 | | 生成式架构 | 设计新的生成模型架构 | 8小时 | 关键发现：在8小时时限内，顶尖Agent在3个任务上接近人类入门级研究员水平，但在需要"创造性设计"的任务（架构设计、评分函数）上仍远落后。这揭示了Agent能力的一个重要分界线——**优化执行能力已经接近人类，但探索创新能力仍有量级差距**。 ### 3.5 Terminal-Bench 2.0：命令行自主性测试 如果说SWE-bench系列测的是"代码能力"，Terminal-Bench测的就是"系统操作能力"。它将Agent放入一个真实的Linux终端环境，要求Agent通过命令行完成一系列系统管理任务： - 配置Nginx反向代理并启用HTTPS - 在Docker容器集群中排查网络故障 - 编写Shell脚本实现日志轮转和告警 - 从Prometheus指标中定位性能瓶颈 Terminal-Bench 2.0的核心升级在于引入了"环境持久性"评测——Agent不是完成单次任务就结束，而是在一个持续运行的环境中完成一系列关联任务，前一个任务的副作用会影响后续任务。这更贴近真实的DevOps场景，也使得Agent的"副作用管理"能力成为关键考察点。 当前领先分数约62%。值得注意的是，Terminal-Bench是所有新基准中"模型间差距最小"的——这意味着命令行操作能力在当前模型间的差异不大，更多取决于Agent框架的工具调用质量。 ### 3.6 CORE-Bench：科学计算的可复现性检验 CORE-Bench（Computational Reproducibility Agent Benchmark）关注一个被严重低估的维度：**给定一篇计算科学论文的代码和数据，Agent能否复现其数值结果？** 这看似简单——毕竟代码和数据都提供了——但实际上极其困难。科学代码往往： - 依赖特定版本的库和编译器 - 包含隐式的环境假设（如GPU型号、操作系统） - 有文档未记录的随机种子和硬编码路径 - 使用非标准的构建系统 CORE-Bench设计了三个难度梯度：代码级（直接运行）、环境级（配置环境后运行）、结果级（从原始数据重建完整流程）。Agent在每个梯度上的分数差异，清晰揭示了"代码理解"和"环境推理"之间的鸿沟。 ### 3.7 HCAST：人类对标的标尺 HCAST（Human-Calibrated Agent Skill Test）的独特之处在于其评测方法论：**每个任务都配备了人类完成时间标定**。 这意味着我们可以精确回答"Agent在多难的任务上达到了人类水平"——答案是：在人类需要不到15分钟的任务上，顶尖Agent已接近人类水平；在人类需要1小时以上的任务上，Agent成功率急剧下降；在人类需要4小时以上的任务上，Agent几乎无法完成。 这个发现与tianpan.co的"长周期评估鸿沟"分析完美呼应：Agent的能力不是均匀缩放的，而是存在一个"时间悬崖"——超过某个阈值后，累积误差、上下文遗忘、幻觉放大等多重因素叠加导致任务崩溃。 ### 3.8 GAIA Level 3：通用推理的终极关卡 GAIA基准最初设计为三个难度等级，Level 1已基本被攻克（>90%），Level 2正在被攻克（~70%），而Level 3——需要多步推理、工具调用、文件处理、网络搜索的综合任务——目前最高分仅约48%。 GAIA L3的特殊价值在于它测的是"通用智能"而非特定领域技能。一个GAIA L3任务可能是： > "给定一份PDF年报和一个Excel表格，计算公司2024年的调整后EBITDA利润率，并与分析师预测对比，输出差异分析和可能原因。" 这需要Agent跨多个工具（PDF解析、表格计算、网络搜索、文本生成）协同工作，且每一步的输出都是下一步的输入——任何一环出错都会导致最终答案错误。 --- ## 四、从基准分数到生产门禁：七层转换栈 基准分数和真实生产表现之间存在巨大的"信任鸿沟"。zylos.ai的分析框架提出了七层转换栈： ```mermaid graph TD L1["L1: 公开基准分数
SWE-bench/τ²-Bench等"] --> L2["L2: 去污校正分数
排除泄露+过拟合"] L2 --> L3["L3: 领域迁移评估
从通用到垂直场景"] L3 --> L4["L4: 长周期压力测试
4h+任务持续通过率"] L4 --> L5["L5: 副作用审计
Agent操作的可逆性检查"] L5 --> L6["L6: 金丝雀部署
5%流量灰度验证"] L6 --> L7["L7: 生产门禁
SLA/成本/安全全达标"] style L1 fill:#ff6b6b style L7 fill:#51cf66 style L4 fill:#ffd43b ``` **Layer 1→2的落差最大**。根据bench-cleanser的分析工具和OpenAI的审计报告，污染校正后分数平均下降20-50%。某些专门"调优"过SWE-bench的Agent框架，校正后分数甚至腰斩。 **Layer 3是企业的核心痛点**。一个在SWE-bench上80%的编码Agent，放到企业内部代码库——私有框架、定制CI/CD、非标准代码风格——可能只有30-40%的有效解决率。这不是Agent的错，而是基准和现实之间的分布偏移（distribution shift）。 **Layer 4揭示了时间维度**。人类工程师完成一个SWE-bench Verified级别任务的中位时间是30分钟，但生产环境的真实Issue平均需要2-4小时。正如HCAST数据所示，Agent在超过1小时的任务上表现断崖式下跌。 **Layer 5-7是运营层面**。cordum.io提出的20项生产部署检查清单涵盖：策略优先于操作（policy-before-action）、人工确认门禁（human confirmation gate）、操作可逆性审计（reversibility audit）、成本熔断器（cost circuit breaker）、幻觉检测层（hallucination detection）等。 --- ## 五、基准之间的隐藏关联：能力图谱 不同基准之间并非独立。通过分析各模型在多个基准上的表现相关性，可以绘制出Agent的能力图谱： ```mermaid graph LR subgraph "编码能力簇" SWE_PRO["SWE-bench Pro"] TERM["Terminal-Bench 2.0"] CORE["CORE-Bench"] end subgraph "推理能力簇" GAIA["GAIA L3"] HCAST["HCAST"] RE["RE-Bench"] end subgraph "交互能力簇" TAU2["τ²-Bench"] end subgraph "科研能力簇" PAPER["PaperBench"] RE2["RE-Bench"] end SWE_PRO ---|0.72| TERM SWE_PRO ---|0.65| CORE GAIA ---|0.78| HCAST RE ---|0.81| PAPER TAU2 ---|0.45| GAIA SWE_PRO ---|0.38| GAIA style SWE_PRO fill:#4ecdc4 style GAIA fill:#ff6b6b style TAU2 fill:#ffd93d style PAPER fill:#6c5ce7 ``` 关键发现： - **编码能力与推理能力的相关性仅0.38**——能写代码不代表会推理，反之亦然 - **τ²-Bench（交互能力）与所有其他基准的相关性都低于0.5**——对话协作是一种独立能力 - **PaperBench与RE-Bench高度相关（0.81）**——科研复现和研发能力共享底层能力 这意味着**没有任何单一基准可以代表Agent的全面能力**。一个在SWE-bench Pro上77.8%的Agent，在τ²-Bench上可能只有40%，在PaperBench上可能不足15%。 --- ## 六、实战选型指南：场景到基准的映射 | 你的场景 | 首选基准 | 辅助基准 | 生产门禁建议 | |----------|----------|----------|------------| | 编码助手/Copilot | SWE-bench Pro | Terminal-Bench 2.0 | 真实PR合并率>60% | | 客服/对话Agent | τ²-Bench | GAIA L3 | 人工抽检通过率>85% | | DevOps/SRE Agent | Terminal-Bench 2.0 | CORE-Bench | 非破坏操作率>99% | | 科研助手 | PaperBench | RE-Bench | 结果误差<10% | | 通用任务自动化 | GAIA L3 | HCAST | 端到端成功率>70% | | 质量保证/测试 | CORE-Bench | SWE-bench Pro | 漏检率<5% | **成本维度**。运行一个完整的SWE-bench Pro评测（32个模型×500个任务）的API成本约$2,000-5,000。τ²-Bench由于需要模拟用户和环境，成本更高，约$3,000-8,000。PaperBench最贵——一次完整运行可能需要$10,000+，因为每个论文复现任务都需要长时间运行和GPU资源。 **时间维度**。SWE-bench Pro单次评测约12-24小时。PaperBench单次可能需要3-7天（受限于任务时长）。τ²-Bench的"快照评测"模式可以在4-6小时内完成。如果需要快速迭代，建议使用基准的子集进行"烟雾测试"，完整评测留到里程碑节点。 --- ## 七、未来六个月预测：基准将走向何方 ### 7.1 动态基准将成为标配 SWE-rebench提出的自动化任务采集管道代表了未来方向。静态基准从发布之日起就在"过期"——模型训练数据在增长、代码库在演进、工具链在更新。动态基准通过持续从真实世界中抽取新任务，使评测始终保持"新鲜度"。 ### 7.2 多维评测矩阵取代单一排行榜 2026年下半年，我们将看到"Agent能力矩阵"取代"单一排行榜"成为主流。一个矩阵可能包含： ``` 模型X能力矩阵 (2026-Q2): ├── 编码: SWE-bench Pro 72% | Terminal-Bench 58% ├── 推理: GAIA L3 45% | HCAST 38% ├── 交互: τ²-Bench 42% ├── 科研: PaperBench 18% | RE-Bench 35% ├── 长周期: 4h任务通过率 28% ├── 成本效率: $/成功任务 $3.2 └── 副作用: 无害操作率 97.2% ``` ### 7.3 基于生产的反向校准 最有价值的评测不是在实验室里跑基准，而是从生产环境中反向提取评测用例。cordum.io提出的20项检查清单中，第17项就是"生产回放测试"——将生产环境中Agent的真实操作轨迹录制下来，在新版本发布前回放，验证行为一致性。 ### 7.4 评测即服务（Eval-as-a-Service）兴起 运行完整的Agent评测套件需要大量的API额度、计算资源和工程投入。这催生了评测即服务的商业模式——如Scale AI的SWE-bench Pro排行榜、Artificial Analysis的τ²-Bench评测、BenchLM.ai的多基准聚合。但这里存在一个根本性矛盾：**如果你信任第三方运行评测，你必须信任第三方没有偏向任何模型**。开源评测工具（如bench-cleanser、AISBench）的兴起正是为了解决这个问题。 --- ## 八、给不同角色的行动建议 **给Agent开发者**：不要再只盯SWE-bench Verified。构建一个"评测仪表盘"，至少覆盖编码、交互、长周期三个维度。在每次重大版本发布前，运行τ²-Bench子集（50个任务）+ SWE-bench Pro子集（100个任务）+ 5个内部生产场景的回归测试。 **给企业采购决策者**：基准分数只是参考。要求供应商提供去污校正后的分数、生产环境案例研究、以及金丝雀部署方案。如果供应商只给你看SWE-bench Verified的分数，而不提SWE-bench Pro或τ²-Bench，那这是一个危险信号。 **给研究者**：关注动态基准、污染检测、长周期评估三个方向。这三个方向是当前Agent评测最迫切需要突破的。特别是"长周期评估鸿沟"——我们急需一套方法论来可靠地评测Agent在4小时以上任务上的表现，而不是简单地"跑更久"。 **给训练营/教育者**：Agent评测是一个极好的教学切入点。让学员理解"为什么80%的基准分数不等于80%的生产能力"，比教他们写Agent代码更有价值。一个理想的课程模块是：学员先构建一个Agent，在SWE-bench Verified上跑分，然后运行bench-cleanser检测污染，最后分析分数与真实表现的差距。 --- ## 参考来源 1. [SWE-Bench Contamination: The Leak-Free Fix — SyncSoft AI](https://www.syncsoft.ai/en/blog/swe-bench-contamination-coding-agents-2026) — SWE-bench数据污染的详细分析与修复方案 2. [OpenAI Abandons SWE-bench Verified: 59% Flawed Tests — ByteIota](https://byteiota.com/openai-abandons-swe-bench-verified-59-flawed-tests/) — OpenAI放弃SWE-bench Verified的完整事件记录 3. [The Long-Horizon Evaluation Gap — tianpan.co](https://tianpan.co/blog/2026-04-10-long-horizon-evaluation-gap-agent-benchmarks) — Agent在长周期任务上表现断崖的量化分析 4. [τ²-Bench: Evaluating Conversational Agents in Dual-Control Settings — arXiv](https://arxiv.org/abs/2506.07982) — 双控环境评测框架的原始论文 5. [8 Benchmarks Reshaping AI Agent Evaluation Beyond SWE-bench](https://agentmarketcap.ai/blog/2026/04/14/benchmarks-shaping-agent-evaluation-beyond-swe-bench) — 八大新兴Agent评测基准全景梳理 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。