## 一致性税：被榜单集体掩盖的Agent真实可靠度 2026年年中，几乎所有头部Agent榜单都撞上了同一堵墙：τ-bench的frontier pass¹（首跑通过率）卡在70%以下，SWE-bench Verified冲到87%后增速骤降，BrowseComp在GPT-5.5 Pro手上摸到90.1%。但榜单越饱和，榜单与生产环境真实表现之间的裂缝就越宽。本文横评六条主流Agent基准——τ-bench/tau2、SWE-bench Verified、BrowseComp、GAIA、WebArena、AgentBench——的核心发现是：**榜单水分不在题目，而在计分法**。绝大多数榜单默认使用 best-of-k（跑k次取最好一次），把"运气好时能做到"包装成"稳定能做到"；而把同一任务跑k次要求全部成功的 pass^k 一旦启用，GPT-4o在τ-bench retail的真实通过率从60%直接坍塌到约25%。这是被榜单系统性隐藏的"一致性税"。 ## 六榜横向对比 | 基准 | 领域 / 任务量 | 默认计分 | 是否暴露一致性 | 当前榜首（截至2026.06） | 主要水分风险 | |------|---------------|----------|----------------|------------------------|--------------| | τ-bench / tau2 | 客服工具调用 / 220+ | pass¹、pass^k可选 | **是（唯一原生支持）** | tau2 GLM-5 89.7%；τ pass¹ Claude 3.5 Sonnet retail 69.2% | 榜单冻结、vendor自报、best-of-k | | SWE-bench Verified | 真实GitHub issue / 500 | 单次resolve率 | 否（可best-of-k） | Claude Opus 4.7 87% | 题库污染、脚手架差异、逼近天花板 | | BrowseComp | 难找答案检索 / 1266 | 召回率 | 否 | GPT-5.5 Pro ~90.1% | 只测"找得到"、不测"做得到" | | GAIA | 通用助手多步任务 / 466 | 精确匹配 | 否 | 多家80%+ | 人工题、多模态、可被记忆 | | WebArena | 交互式真实网站 | 任务成功率 | 否 | 50%量级 | 自托管站漂移、登录态脆弱 | | AgentBench | 多环境综合 / 多 | 各环境成功率 | 否 | 模型迭代快 | 老题、LLM判官偏差 | ## 一、为什么"七成封顶"：pass^k 与 best-of-k 的根本分野 榜单的数学陷阱藏在 pass@k 与 pass^k 的区别里。`pass@k`（HumanEval传统）是"k次里至少成功一次的任务占比"，`best-of-k`是它的工程变种——跑k次，挑最好那次上报。两者都在奖励"运气"。而 `pass^k` 要求同一任务跑k次、**k次全部成功**才算通过，它度量的是可复现性。τ-bench文档把这个区别讲得最直白：大多数已发表的Agent分数都是best-of-k，而best-of-k会系统性地掩盖一致性崩塌。一个在 pass¹ 上60%的Agent，到 pass⁸ 可能只剩25%——因为它有35%的任务是"时灵时不灵"。用户在生产里不会重试8次取最好，因此 pass^k 才是诚实信号。frontier pass¹ 低于70%这个事实，本质是行业在用"峰值性能"冒充"额定功率"。 ## 二、τ-bench / tau2：唯一敢把"跑8遍"算进榜分的基准 τ-bench由Sierra Research于2024年发布，模拟零售（115任务）与航空（109任务）两个客服场景，强制Agent在用户、工具、政策三者间协同——它会随机化初始状态并执行严格的policy校验，是当前最能暴露一致性的开放基准。其公开页（taubench.com）原版榜单已冻结在2024年末模型集：Claude 3.5 Sonnet（20241022）pass¹ retail 69.2%、airline 46%，GPT-4o retail 60.4%、airline 42%；GPT-5、Gemini 2.5 Pro等新模型不在原榜，数字多来自vendor自报或tau2/tau3，**不可直接比较**。这点本身就是榜单水分的活样本：分榜越换、越不可比。算一致性税的公式很直白： ```python def pass_k(results_per_task, k): # results_per_task[t] = [bool]*k，同任务跑k次的结果 return sum(all(runs) for runs in results_per_task) / len(results_per_task) # best-of-k 则是 any(runs)：一次成功即记过 ``` τ-bench的价值不在分数高，而在它逼你回答："同一个工单，你敢不敢连跑8遍？" 这是其他五榜都不要求的。 ## 三、SWE-bench Verified：天花板之战与饱和陷阱 SWE-bench Verified是500条经人工校验的真实Python仓库GitHub issue，由Princeton NLP与OpenAI合作过滤，是编码Agent的事实标尺。截至2026年6月，Claude Opus 4.7以约87%登顶。但榜首越拥挤，可信度越受三重侵蚀：第一，**题库污染**——500条静态题、答案随训练数据泄露，模型可能在"背"而非"修"；第二，**脚手架差异**——全榜允许任意Agent系统（RAG、多rollout、review pipeline），同一个模型在不同脚手架下能差出十几个点，于是榜单评的是"谁的工程更狠"而非"谁更强"；为此官方增设 bash-only 模式，用 mini-SWE-agent 在纯bash里跑所有LM做苹果对苹果比较。第三，**逼近天花板**——87%意味着剩余13%是模型与任务定义本身的硬边界，再刷分边际收益极低。当一条榜眼看就要被刷穿，它作为区分度的价值就在归零。 ## 四、BrowseComp：召回率天花板，与"找得到 ≠ 做得到" OpenAI的BrowseComp用1266个"答案难找、但易验证"的问题测浏览Agent的检索能力，GPT-5.5 Pro据benchlm.ai记录达到约90.1%。它设计得很聪明——把"找答案"从"写答案"里剥离，使评分可自动、可对抗污染。但这也正是它的盲区：BrowseComp只测召回与定位，**完全不测后续动作**。一个能精准找到某份PDF里某条款款的Agent，未必能在真实业务里把这条款填进表单、触发审批、回滚出错操作。学界已出现 BrowseComp-Plus 这类"更公平"修正版，强调检索公平性与可复现的query集。对买家而言，BrowseComp高分只保证"搜得准"，而生产里Agent失败常常发生在"搜到之后的执行"——这正是该榜无法回答的。 ## 五、GAIA 与 WebArena：多模态与交互环境的真实度边界 GAIA（Meta AI，466题）测通用助手的多步推理+工具+多模态，分L1/L2/L3难度，纯精确匹配评分。它的强项是任务"真实"——很多题需要看图、读附件、跨步推理；弱项是题目静态、人工设计，存在被训练记忆的风险，且榜面只给"过了/没过"，不暴露一致性。WebArena则更进一步，在自托管的真实网站栈（电商、论坛、CMS、知识库）上测交互式Agent，要求登录、多页操作、状态保持，任务成功率长期停在50%量级——远比静态题难。但它有自己的塌方点：自托管站会随上游版本漂移，登录态与动态内容脆弱，导致**跨季度复现困难**，同一Agent三个月后再跑可能分数漂移数个百分点。这两条榜的共同教训是：环境越真实，"榜单稳定性"本身就越成问题。 ## 六、计分法即护城河：把一致性税显式化的工具链 把一致性税暴露出来，技术上不难，难在愿不愿意显式化。生产级做法是搭一套 eval harness：固定seed、控制温度、对每条任务跑k次，同时上报 best-of-k、pass@k、pass^k 三个数，并用 LLM-as-judge 兜底无标准答案的开放任务。τ-bench、SWE-agent的评测脚本、Hugging Face的lighteval、Inspects、LangSmith的Datasets都已支持多次采样。关键代码模式： ```python # 三种计分同时上报，让一致性税无处遁形 best_of_k = sum(any(r) for r in runs) / N # 至少1次过 pass_at_k = pass_at_k_formula(passes, N, k) # HumanEval式 pass_pow_k = sum(all(r) for r in runs) / N # 全部过=可复现 gap = best_of_k - pass_pow_k # 这就是一致性税 ``` 当 `gap` 越大，说明该Agent越依赖"碰运气"，在生产里就越不可托付。把 gap 当作选型硬指标，比看榜单单点分数可靠得多。 ```mermaid graph LR subgraph 计分法决定看见什么 A[同一任务 跑k次] --> B{如何计分} B -->|best-of-k / pass@k| C[峰值性能
至少1次成功] B -->|pass^k| D[额定功率
k次全成功] C --> E[高分榜单
隐藏一致性] D --> F[真实可靠度
暴露一致性税] end F --> G[τ-bench pass¹<70%
GPT-4o 60% →25% pass⁸] E -.被掩盖.-> G ``` ## 七、变现视角：holdout榜即护城河，eval-as-a-service Agent基准的成熟度直接决定了它的商业可包装性。静态公开榜（SWE-bench Verified、GAIA）正在被刷穿、失去区分度，而**私有 holdout 集 + 一致性评测**正在成为新护城河。三种可落地的变现形态：其一，**垂直行业 eval 即服务**——为企业定制其真实工单的私有τ-bench，跑 pass^k 出"额定通过率"报告，按席位/按评测次数收费；其二，**抗污染动态榜**——每月刷新题库、控制曝光，做"活榜单"订阅，解决静态榜刷穿问题；其三，**eval 训练营**——把"如何用 pass^k 揭穿 best-of-k 水分、如何搭 holdout、如何用LLM-as-judge"做成训练营，面向选型决策者与ML工程师。其变现逻辑扎实：买家怕被榜单骗，谁能让榜单诚实，谁就掌握信任。值得警惕的是，tau2/tau3 与 vendor 自报数字已让跨榜可比性下降——这意味着"中立、可复现、带一致性的第三方评测"本身就是稀缺品。 ## 推荐方案 - **选型阶段（看清真实可靠度）**：忽略单点 best-of-k 榜单分，强制要求供应商提供 pass^k 报告；优先看 τ-bench/tau2 的 pass^k 列与 gap 值，gap>20个百分点的Agent慎用于关键路径。 - **编码场景**：SWE-bench Verified 87% 已近天花板，区分度低，改看其 bash-only 子榜与 SWE-bench Multilingual / Multimodal，并自建私有issue holdout。 - **检索/研究场景**：BrowseComp 高分只保证召回，需叠加 WebArena 或自建交互式holdout验证执行链路。 - **多模态通用助手**：GAIA 作为基线，但务必自建带温度控制与多次采样的eval pipeline，把一致性税量化进交付指标。 - **想变现者**：从"私有 holdout + pass^k 报告"切入，做行业级 eval-as-a-service，避开已饱和的公开榜红海。 ## 参考来源 1. [SWE-bench Verified 官方榜单](https://www.swebench.com/verified.html) — 500条人工校验的GitHub issue基准，含bash-only子榜与计分说明 2. [τ-bench (taubench.com)](http://taubench.com/) — Sierra Research客服工具调用基准，原生支持pass^k一致性评测 3. [Tau-Bench Retail and Airline: Frontier Pass¹ Below 70% — Benchmarking Agents](https://benchmarkingagents.com/tau-bench-retail-airline/) — pass^k vs best-of-k一致性税分析与GPT-4o 60%→25%坍塌数据 4. [BrowseComp: a benchmark for browsing agents — OpenAI](https://openai.com/index/browsecomp/) — 难找答案检索基准的官方定义 5. [Beyond SWE-bench: 8 AI Agent Benchmarks That Actually Matter in 2026 — AgentMarketCap](https://agentmarketcap.ai/blog/2026/04/23/8-benchmarks-shaping-next-gen-ai-agents) — 八大基准横评与饱和/污染分析 --- *本文由「51学通信」原创，站长爱卫生（微信：gprshome201101）。* > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。