首页 › ai-agents › Agent评测基准崩塌与八大赛道重建

概述

2026年初，AI Agent评测体系经历了一场地震级的崩塌。OpenAI在2月宣布放弃SWE-bench Verified——这个曾是Agent能力"黄金标准"的基准——原因是对59%测试用例检测到数据污染。当排除了泄露解法后，部分模型的分数从51%暴跌至26%。这不是一个孤立事件，而是整个Agent评测范式系统性失效的信号：单一基准饱和、数据污染扩散、短任务到长任务的断崖、离线分数到线上合并率的鸿沟。在废墟之上，八条新评测赛道正在重建：SWE-bench Pro、τ²-Bench、PaperBench、RE-Bench、Terminal-Bench 2.0、CORE-Bench、HCAST、GAIA Level 3。本文逐层拆解每条赛道的架构原理、当前成绩、核心局限，以及从基准到生产门禁的转换路径。

一、崩塌：SWE-bench Verified的污染危机

SWE-bench Verified曾是Agent编码能力的"圣杯"。它从GitHub真实Issue中提取500个经过人工验证的测试用例，要求Agent阅读代码库、定位Bug、编写补丁并通过测试。2024年发布时，顶级模型仅能解决不到30%的问题。然而到2025年底，排行榜上的数字开始失控——GPT-4o突破70%，Claude Sonnet冲上72%，Devin声称达到50%+。业界欢呼"Agent编码能力指数级增长"。

OpenAI在2026年2月23日投下炸弹。其内部审计发现SWE-bench Verified存在严重的数据污染（data contamination）：

# bench-cleanser检测工具的污染分类标签
TRAJECTORY_LABELS = [
    "genuine_solve",     # 真实解题
    "memorized_solve",   # 记忆泄露解题  
    "partial_leak",      # 部分泄露
    "test_overfit",      # 测试过拟合
    "pattern_match",     # 模式匹配
    "lucky_guess",       # 幸运猜测
    "tool_exploit",      # 工具利用漏洞
    "invalid"            # 无效提交
]

OpenAI的最终决定是彻底停止报告SWE-bench Verified分数，转而采用SWE-bench Pro。这一决定在社区引发连锁反应——如果连基准的创建维护者都认为它不再可信，那么所有基于SWE-bench Verified的排名、对比、选型决策都需要重新审视。

二、重建赛道全景：八大赛道对比

维度 SWE-bench Pro τ²-Bench PaperBench RE-Bench Terminal-Bench 2.0 CORE-Bench HCAST GAIA L3
评测目标 长周期代码Issue 双控对话Agent 论文复现 AI研发能力 CLI自主操作 计算可复现性 人类对标任务 通用推理
任务时长 1-8小时 10-30分钟 数小时-数天 8小时 30分钟-2小时 1-4小时 1-8小时 30分钟+
最高分 77.8% (Claude Mythos) ~55% (GPT-5.5) 21.0% ~40% (Claude Opus) ~62% ~45% ~30% ~48%
评测维度 代码+测试+PR 工具调用+用户协作 代码+实验+写作 研发子任务 命令行操作 环境+代码+结果 多步推理+执行 推理+工具+搜索
防污染 动态任务生成 模拟用户变化 全新论文 私有数据集 容器隔离 新数据集 动态组合 新Level
适用场景 编码Agent选型 客服Agent评估 科研Agent 前沿能力评估 DevOps Agent 科研可复现 通用能力 通用Agent

三、深度拆解八大赛道

3.1 SWE-bench Pro：继任者的野心与隐忧

SWE-bench Pro由Scale AI和学术界联合推出，核心设计哲学是"让评测回归难度"。它继承了SWE-bench Verified的最佳实践，但在三个维度做了根本性升级：

任务复杂度跃迁。SWE-bench Verified的问题平均解决时间在30分钟以内（人类工程师标准），而SWE-bench Pro引入了1-8小时级别的长周期任务。这直接击中了"短任务高分、长任务崩溃"的痛点——tianpan.co的分析表明，SWE-bench Verified上75%的模型在长于1小时的任务中成功率跌破25%。

动态任务管道。SWE-rebench论文（arXiv 2505.20411）提出了自动化任务采集管道，从GitHub持续提取新的Issue-PR对，生成评测用例。这意味着训练数据一旦被纳入基准，后续模型版本就会在"新"任务上被评测，从根源上切断污染路径。

当前格局：Claude Mythos Preview以77.8%领先，GPT-5.5约64.3%，Gemini 3.1 Pro约55%。但要注意，这些分数仍然来自相对"干净"的初期版本——随着更多模型参与，分数膨胀的历史是否会重演，仍是未知数。

3.2 τ²-Bench：双控对话的范式革命

τ²-Bench（Tau Squared Bench）是Sierra AI推出的第二代对话Agent评测框架，它的核心创新是"双控"（dual-control）环境。

传统的对话Agent评测（包括τ-bench第一代）模拟的是"单控"环境——只有Agent在调用工具、执行操作，用户只是被动回答问题。但真实场景远非如此。在一个客服场景中：

用户: "帮我改签航班"
Agent: [调用改签API] → 确认航班有余票
用户: [同时也在APP上操作] → 自己也点了改签
Agent: [再次调用] → 报错：座位已被锁定

τ²-Bench模拟的就是这种"双方同时行动"的混乱现实。它引入了一个模拟用户Agent（由LLM驱动），与被测Agent同时与后端系统交互。评测不仅看"任务是否完成"，还看"Agent是否正确处理了冲突、竞态、信息不对称"。

架构设计：

graph TB
    subgraph "τ²-Bench 双控架构"
        U[模拟用户<br/>LLM驱动] -->|对话+操作| SIM[模拟环境<br/>数据库+API]
        A[被测Agent] -->|工具调用| SIM
        U <-->|自然语言| A
        SIM -->|状态快照| EVAL[评测引擎]
        A -->|轨迹日志| EVAL
        U -->|操作日志| EVAL
        EVAL -->|一致性+完整性<br/>+鲁棒性| SCORE[分数]
    end

当前τ²-Bench在电信（Telecom）和零售领域提供评测，已有23个模型提交成绩，领先者约55%。值得注意的是，从τ-bench到τ²-Bench，同一模型的分数通常下降15-25%——双控环境的复杂度代价可见一斑。

3.3 PaperBench：AI复现AI论文的终极考试

OpenAI推出的PaperBench可能是2026年最硬核的Agent评测。它的任务描述极其简洁：给Agent一篇ICML 2024论文，让Agent从零复现。

这包含了一连串极其复杂的子任务： - 阅读理解论文的方法论和实验设计 - 搭建完整的实验环境（依赖安装、GPU配置、数据准备） - 编写论文中描述的所有模型和训练代码 - 复现实验结果，使指标在合理误差范围内 - 撰写实验报告，与原论文对比

PaperBench使用20篇ICML 2024的Spotlight和Oral论文作为测试集，评测体系采用分层打分——每个子任务（代码实现、数据管道、训练循环、评估指标、结果匹配）都有独立评分，最后汇总。

结果令人清醒：最好的Agent仅得21.0%，而人类专家基线约为41.3%。这意味着当前最强的自主Agent在"复现一篇顶会论文"这项任务上，只能完成不到一半的工作，且其中很多是"看起来对但实际有Bug"的部分。

3.4 RE-Bench：AI研发能力的度量衡

RE-Bench由METR（前ARC Evals团队）推出，聚焦于一个极具前瞻性的问题：AI Agent能否自主完成AI研究工作？

这不是抽象的学术追问。如果AI Agent能自主完成模型训练、超参搜索、架构设计、实验分析，那么AI研发的自动化就有了量化依据，同时也对安全治理提出了迫切需求。

RE-Bench包含7个核心任务：

任务 描述 人类基线时间
优化训练内核 提升CUDA kernel性能 8小时
小模型微调 在限定算力下最大化指标 4小时
梯度压缩 实现高效梯度压缩算法 6小时
Triton kernel 编写优化的Triton kernel 8小时
Scaling law预测 从小规模实验预测大模型表现 4小时
评分函数设计 设计鲁棒的比赛评分函数 6小时
生成式架构 设计新的生成模型架构 8小时

关键发现：在8小时时限内，顶尖Agent在3个任务上接近人类入门级研究员水平，但在需要"创造性设计"的任务（架构设计、评分函数）上仍远落后。这揭示了Agent能力的一个重要分界线——优化执行能力已经接近人类，但探索创新能力仍有量级差距。

3.5 Terminal-Bench 2.0：命令行自主性测试

如果说SWE-bench系列测的是"代码能力"，Terminal-Bench测的就是"系统操作能力"。它将Agent放入一个真实的Linux终端环境，要求Agent通过命令行完成一系列系统管理任务：

Terminal-Bench 2.0的核心升级在于引入了"环境持久性"评测——Agent不是完成单次任务就结束，而是在一个持续运行的环境中完成一系列关联任务，前一个任务的副作用会影响后续任务。这更贴近真实的DevOps场景，也使得Agent的"副作用管理"能力成为关键考察点。

当前领先分数约62%。值得注意的是，Terminal-Bench是所有新基准中"模型间差距最小"的——这意味着命令行操作能力在当前模型间的差异不大，更多取决于Agent框架的工具调用质量。

3.6 CORE-Bench：科学计算的可复现性检验

CORE-Bench（Computational Reproducibility Agent Benchmark）关注一个被严重低估的维度：给定一篇计算科学论文的代码和数据，Agent能否复现其数值结果？

这看似简单——毕竟代码和数据都提供了——但实际上极其困难。科学代码往往： - 依赖特定版本的库和编译器 - 包含隐式的环境假设（如GPU型号、操作系统） - 有文档未记录的随机种子和硬编码路径 - 使用非标准的构建系统

CORE-Bench设计了三个难度梯度：代码级（直接运行）、环境级（配置环境后运行）、结果级（从原始数据重建完整流程）。Agent在每个梯度上的分数差异，清晰揭示了"代码理解"和"环境推理"之间的鸿沟。

3.7 HCAST：人类对标的标尺

HCAST（Human-Calibrated Agent Skill Test）的独特之处在于其评测方法论：每个任务都配备了人类完成时间标定。

这意味着我们可以精确回答"Agent在多难的任务上达到了人类水平"——答案是：在人类需要不到15分钟的任务上，顶尖Agent已接近人类水平；在人类需要1小时以上的任务上，Agent成功率急剧下降；在人类需要4小时以上的任务上，Agent几乎无法完成。

这个发现与tianpan.co的"长周期评估鸿沟"分析完美呼应：Agent的能力不是均匀缩放的，而是存在一个"时间悬崖"——超过某个阈值后，累积误差、上下文遗忘、幻觉放大等多重因素叠加导致任务崩溃。

3.8 GAIA Level 3：通用推理的终极关卡

GAIA基准最初设计为三个难度等级，Level 1已基本被攻克（>90%），Level 2正在被攻克（~70%），而Level 3——需要多步推理、工具调用、文件处理、网络搜索的综合任务——目前最高分仅约48%。

GAIA L3的特殊价值在于它测的是"通用智能"而非特定领域技能。一个GAIA L3任务可能是：

"给定一份PDF年报和一个Excel表格，计算公司2024年的调整后EBITDA利润率，并与分析师预测对比，输出差异分析和可能原因。"

这需要Agent跨多个工具（PDF解析、表格计算、网络搜索、文本生成）协同工作，且每一步的输出都是下一步的输入——任何一环出错都会导致最终答案错误。

四、从基准分数到生产门禁：七层转换栈

基准分数和真实生产表现之间存在巨大的"信任鸿沟"。zylos.ai的分析框架提出了七层转换栈：

graph TD
    L1["L1: 公开基准分数<br/>SWE-bench/τ²-Bench等"] --> L2["L2: 去污校正分数<br/>排除泄露+过拟合"]
    L2 --> L3["L3: 领域迁移评估<br/>从通用到垂直场景"]
    L3 --> L4["L4: 长周期压力测试<br/>4h+任务持续通过率"]
    L4 --> L5["L5: 副作用审计<br/>Agent操作的可逆性检查"]
    L5 --> L6["L6: 金丝雀部署<br/>5%流量灰度验证"]
    L6 --> L7["L7: 生产门禁<br/>SLA/成本/安全全达标"]

    style L1 fill:#ff6b6b
    style L7 fill:#51cf66
    style L4 fill:#ffd43b

Layer 1→2的落差最大。根据bench-cleanser的分析工具和OpenAI的审计报告，污染校正后分数平均下降20-50%。某些专门"调优"过SWE-bench的Agent框架，校正后分数甚至腰斩。

Layer 3是企业的核心痛点。一个在SWE-bench上80%的编码Agent，放到企业内部代码库——私有框架、定制CI/CD、非标准代码风格——可能只有30-40%的有效解决率。这不是Agent的错，而是基准和现实之间的分布偏移（distribution shift）。

Layer 4揭示了时间维度。人类工程师完成一个SWE-bench Verified级别任务的中位时间是30分钟，但生产环境的真实Issue平均需要2-4小时。正如HCAST数据所示，Agent在超过1小时的任务上表现断崖式下跌。

Layer 5-7是运营层面。cordum.io提出的20项生产部署检查清单涵盖：策略优先于操作（policy-before-action）、人工确认门禁（human confirmation gate）、操作可逆性审计（reversibility audit）、成本熔断器（cost circuit breaker）、幻觉检测层（hallucination detection）等。

五、基准之间的隐藏关联：能力图谱

不同基准之间并非独立。通过分析各模型在多个基准上的表现相关性，可以绘制出Agent的能力图谱：

graph LR
    subgraph "编码能力簇"
        SWE_PRO["SWE-bench Pro"]
        TERM["Terminal-Bench 2.0"]
        CORE["CORE-Bench"]
    end

    subgraph "推理能力簇"
        GAIA["GAIA L3"]
        HCAST["HCAST"]
        RE["RE-Bench"]
    end

    subgraph "交互能力簇"
        TAU2["τ²-Bench"]
    end

    subgraph "科研能力簇"
        PAPER["PaperBench"]
        RE2["RE-Bench"]
    end

    SWE_PRO ---|0.72| TERM
    SWE_PRO ---|0.65| CORE
    GAIA ---|0.78| HCAST
    RE ---|0.81| PAPER
    TAU2 ---|0.45| GAIA
    SWE_PRO ---|0.38| GAIA

    style SWE_PRO fill:#4ecdc4
    style GAIA fill:#ff6b6b
    style TAU2 fill:#ffd93d
    style PAPER fill:#6c5ce7

关键发现： - 编码能力与推理能力的相关性仅0.38——能写代码不代表会推理，反之亦然 - τ²-Bench（交互能力）与所有其他基准的相关性都低于0.5——对话协作是一种独立能力 - PaperBench与RE-Bench高度相关（0.81）——科研复现和研发能力共享底层能力

这意味着没有任何单一基准可以代表Agent的全面能力。一个在SWE-bench Pro上77.8%的Agent，在τ²-Bench上可能只有40%，在PaperBench上可能不足15%。

六、实战选型指南：场景到基准的映射

你的场景 首选基准 辅助基准 生产门禁建议
编码助手/Copilot SWE-bench Pro Terminal-Bench 2.0 真实PR合并率>60%
客服/对话Agent τ²-Bench GAIA L3 人工抽检通过率>85%
DevOps/SRE Agent Terminal-Bench 2.0 CORE-Bench 非破坏操作率>99%
科研助手 PaperBench RE-Bench 结果误差<10%
通用任务自动化 GAIA L3 HCAST 端到端成功率>70%
质量保证/测试 CORE-Bench SWE-bench Pro 漏检率<5%

成本维度。运行一个完整的SWE-bench Pro评测（32个模型×500个任务）的API成本约$2,000-5,000。τ²-Bench由于需要模拟用户和环境，成本更高，约$3,000-8,000。PaperBench最贵——一次完整运行可能需要$10,000+，因为每个论文复现任务都需要长时间运行和GPU资源。

时间维度。SWE-bench Pro单次评测约12-24小时。PaperBench单次可能需要3-7天（受限于任务时长）。τ²-Bench的"快照评测"模式可以在4-6小时内完成。如果需要快速迭代，建议使用基准的子集进行"烟雾测试"，完整评测留到里程碑节点。

七、未来六个月预测：基准将走向何方

7.1 动态基准将成为标配

SWE-rebench提出的自动化任务采集管道代表了未来方向。静态基准从发布之日起就在"过期"——模型训练数据在增长、代码库在演进、工具链在更新。动态基准通过持续从真实世界中抽取新任务，使评测始终保持"新鲜度"。

7.2 多维评测矩阵取代单一排行榜

2026年下半年，我们将看到"Agent能力矩阵"取代"单一排行榜"成为主流。一个矩阵可能包含：

模型X能力矩阵 (2026-Q2):
├── 编码: SWE-bench Pro 72% | Terminal-Bench 58%
├── 推理: GAIA L3 45% | HCAST 38%
├── 交互: τ²-Bench 42%
├── 科研: PaperBench 18% | RE-Bench 35%
├── 长周期: 4h任务通过率 28%
├── 成本效率: $/成功任务 $3.2
└── 副作用: 无害操作率 97.2%

7.3 基于生产的反向校准

最有价值的评测不是在实验室里跑基准，而是从生产环境中反向提取评测用例。cordum.io提出的20项检查清单中，第17项就是"生产回放测试"——将生产环境中Agent的真实操作轨迹录制下来，在新版本发布前回放，验证行为一致性。

7.4 评测即服务（Eval-as-a-Service）兴起

运行完整的Agent评测套件需要大量的API额度、计算资源和工程投入。这催生了评测即服务的商业模式——如Scale AI的SWE-bench Pro排行榜、Artificial Analysis的τ²-Bench评测、BenchLM.ai的多基准聚合。但这里存在一个根本性矛盾：如果你信任第三方运行评测，你必须信任第三方没有偏向任何模型。开源评测工具（如bench-cleanser、AISBench）的兴起正是为了解决这个问题。

八、给不同角色的行动建议

给Agent开发者：不要再只盯SWE-bench Verified。构建一个"评测仪表盘"，至少覆盖编码、交互、长周期三个维度。在每次重大版本发布前，运行τ²-Bench子集（50个任务）+ SWE-bench Pro子集（100个任务）+ 5个内部生产场景的回归测试。

给企业采购决策者：基准分数只是参考。要求供应商提供去污校正后的分数、生产环境案例研究、以及金丝雀部署方案。如果供应商只给你看SWE-bench Verified的分数，而不提SWE-bench Pro或τ²-Bench，那这是一个危险信号。

给研究者：关注动态基准、污染检测、长周期评估三个方向。这三个方向是当前Agent评测最迫切需要突破的。特别是"长周期评估鸿沟"——我们急需一套方法论来可靠地评测Agent在4小时以上任务上的表现，而不是简单地"跑更久"。

给训练营/教育者：Agent评测是一个极好的教学切入点。让学员理解"为什么80%的基准分数不等于80%的生产能力"，比教他们写Agent代码更有价值。一个理想的课程模块是：学员先构建一个Agent，在SWE-bench Verified上跑分，然后运行bench-cleanser检测污染，最后分析分数与真实表现的差距。

参考来源

  1. SWE-Bench Contamination: The Leak-Free Fix — SyncSoft AI — SWE-bench数据污染的详细分析与修复方案
  2. OpenAI Abandons SWE-bench Verified: 59% Flawed Tests — ByteIota — OpenAI放弃SWE-bench Verified的完整事件记录
  3. The Long-Horizon Evaluation Gap — tianpan.co — Agent在长周期任务上表现断崖的量化分析
  4. τ²-Bench: Evaluating Conversational Agents in Dual-Control Settings — arXiv — 双控环境评测框架的原始论文
  5. 8 Benchmarks Reshaping AI Agent Evaluation Beyond SWE-bench — 八大新兴Agent评测基准全景梳理

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入

📎 本分类最新文章