一致性税：被榜单集体掩盖的Agent真实可靠度

2026年年中，几乎所有头部Agent榜单都撞上了同一堵墙：τ-bench的frontier pass¹（首跑通过率）卡在70%以下，SWE-bench Verified冲到87%后增速骤降，BrowseComp在GPT-5.5 Pro手上摸到90.1%。但榜单越饱和，榜单与生产环境真实表现之间的裂缝就越宽。本文横评六条主流Agent基准——τ-bench/tau2、SWE-bench Verified、BrowseComp、GAIA、WebArena、AgentBench——的核心发现是：榜单水分不在题目，而在计分法。绝大多数榜单默认使用 best-of-k（跑k次取最好一次），把"运气好时能做到"包装成"稳定能做到"；而把同一任务跑k次要求全部成功的 pass^k 一旦启用，GPT-4o在τ-bench retail的真实通过率从60%直接坍塌到约25%。这是被榜单系统性隐藏的"一致性税"。

六榜横向对比

一、为什么"七成封顶"：pass^k 与 best-of-k 的根本分野

榜单的数学陷阱藏在 pass@k 与 pass^k 的区别里。pass@k（HumanEval传统）是"k次里至少成功一次的任务占比"，best-of-k是它的工程变种——跑k次，挑最好那次上报。两者都在奖励"运气"。而 pass^k 要求同一任务跑k次、k次全部成功才算通过，它度量的是可复现性。τ-bench文档把这个区别讲得最直白：大多数已发表的Agent分数都是best-of-k，而best-of-k会系统性地掩盖一致性崩塌。一个在 pass¹ 上60%的Agent，到 pass⁸ 可能只剩25%——因为它有35%的任务是"时灵时不灵"。用户在生产里不会重试8次取最好，因此 pass^k 才是诚实信号。frontier pass¹ 低于70%这个事实，本质是行业在用"峰值性能"冒充"额定功率"。

二、τ-bench / tau2：唯一敢把"跑8遍"算进榜分的基准

τ-bench由Sierra Research于2024年发布，模拟零售（115任务）与航空（109任务）两个客服场景，强制Agent在用户、工具、政策三者间协同——它会随机化初始状态并执行严格的policy校验，是当前最能暴露一致性的开放基准。其公开页（taubench.com）原版榜单已冻结在2024年末模型集：Claude 3.5 Sonnet（20241022）pass¹ retail 69.2%、airline 46%，GPT-4o retail 60.4%、airline 42%；GPT-5、Gemini 2.5 Pro等新模型不在原榜，数字多来自vendor自报或tau2/tau3，不可直接比较。这点本身就是榜单水分的活样本：分榜越换、越不可比。算一致性税的公式很直白：

def pass_k(results_per_task, k):
    # results_per_task[t] = [bool]*k，同任务跑k次的结果
    return sum(all(runs) for runs in results_per_task) / len(results_per_task)
# best-of-k 则是 any(runs)：一次成功即记过

τ-bench的价值不在分数高，而在它逼你回答："同一个工单，你敢不敢连跑8遍？" 这是其他五榜都不要求的。

三、SWE-bench Verified：天花板之战与饱和陷阱

SWE-bench Verified是500条经人工校验的真实Python仓库GitHub issue，由Princeton NLP与OpenAI合作过滤，是编码Agent的事实标尺。截至2026年6月，Claude Opus 4.7以约87%登顶。但榜首越拥挤，可信度越受三重侵蚀：第一，题库污染——500条静态题、答案随训练数据泄露，模型可能在"背"而非"修"；第二，脚手架差异——全榜允许任意Agent系统（RAG、多rollout、review pipeline），同一个模型在不同脚手架下能差出十几个点，于是榜单评的是"谁的工程更狠"而非"谁更强"；为此官方增设 bash-only 模式，用 mini-SWE-agent 在纯bash里跑所有LM做苹果对苹果比较。第三，逼近天花板——87%意味着剩余13%是模型与任务定义本身的硬边界，再刷分边际收益极低。当一条榜眼看就要被刷穿，它作为区分度的价值就在归零。

四、BrowseComp：召回率天花板，与"找得到 ≠ 做得到"

OpenAI的BrowseComp用1266个"答案难找、但易验证"的问题测浏览Agent的检索能力，GPT-5.5 Pro据benchlm.ai记录达到约90.1%。它设计得很聪明——把"找答案"从"写答案"里剥离，使评分可自动、可对抗污染。但这也正是它的盲区：BrowseComp只测召回与定位，完全不测后续动作。一个能精准找到某份PDF里某条款款的Agent，未必能在真实业务里把这条款填进表单、触发审批、回滚出错操作。学界已出现 BrowseComp-Plus 这类"更公平"修正版，强调检索公平性与可复现的query集。对买家而言，BrowseComp高分只保证"搜得准"，而生产里Agent失败常常发生在"搜到之后的执行"——这正是该榜无法回答的。

五、GAIA 与 WebArena：多模态与交互环境的真实度边界

GAIA（Meta AI，466题）测通用助手的多步推理+工具+多模态，分L1/L2/L3难度，纯精确匹配评分。它的强项是任务"真实"——很多题需要看图、读附件、跨步推理；弱项是题目静态、人工设计，存在被训练记忆的风险，且榜面只给"过了/没过"，不暴露一致性。WebArena则更进一步，在自托管的真实网站栈（电商、论坛、CMS、知识库）上测交互式Agent，要求登录、多页操作、状态保持，任务成功率长期停在50%量级——远比静态题难。但它有自己的塌方点：自托管站会随上游版本漂移，登录态与动态内容脆弱，导致跨季度复现困难，同一Agent三个月后再跑可能分数漂移数个百分点。这两条榜的共同教训是：环境越真实，"榜单稳定性"本身就越成问题。

六、计分法即护城河：把一致性税显式化的工具链

把一致性税暴露出来，技术上不难，难在愿不愿意显式化。生产级做法是搭一套 eval harness：固定seed、控制温度、对每条任务跑k次，同时上报 best-of-k、pass@k、pass^k 三个数，并用 LLM-as-judge 兜底无标准答案的开放任务。τ-bench、SWE-agent的评测脚本、Hugging Face的lighteval、Inspects、LangSmith的Datasets都已支持多次采样。关键代码模式：

# 三种计分同时上报，让一致性税无处遁形
best_of_k = sum(any(r) for r in runs) / N          # 至少1次过
pass_at_k = pass_at_k_formula(passes, N, k)        # HumanEval式
pass_pow_k = sum(all(r) for r in runs) / N          # 全部过=可复现
gap = best_of_k - pass_pow_k                        # 这就是一致性税

当 gap 越大，说明该Agent越依赖"碰运气"，在生产里就越不可托付。把 gap 当作选型硬指标，比看榜单单点分数可靠得多。

graph LR
    subgraph 计分法决定看见什么
    A[同一任务 跑k次] --> B{如何计分}
    B -->|best-of-k / pass@k| C[峰值性能<br/>至少1次成功]
    B -->|pass^k| D[额定功率<br/>k次全成功]
    C --> E[高分榜单<br/>隐藏一致性]
    D --> F[真实可靠度<br/>暴露一致性税]
    end
    F --> G[τ-bench pass¹<70%<br/>GPT-4o 60% →25% pass⁸]
    E -.被掩盖.-> G

七、变现视角：holdout榜即护城河，eval-as-a-service

Agent基准的成熟度直接决定了它的商业可包装性。静态公开榜（SWE-bench Verified、GAIA）正在被刷穿、失去区分度，而私有 holdout 集 + 一致性评测正在成为新护城河。三种可落地的变现形态：其一，垂直行业 eval 即服务——为企业定制其真实工单的私有τ-bench，跑 pass^k 出"额定通过率"报告，按席位/按评测次数收费；其二，抗污染动态榜——每月刷新题库、控制曝光，做"活榜单"订阅，解决静态榜刷穿问题；其三，eval 训练营——把"如何用 pass^k 揭穿 best-of-k 水分、如何搭 holdout、如何用LLM-as-judge"做成训练营，面向选型决策者与ML工程师。其变现逻辑扎实：买家怕被榜单骗，谁能让榜单诚实，谁就掌握信任。值得警惕的是，tau2/tau3 与 vendor 自报数字已让跨榜可比性下降——这意味着"中立、可复现、带一致性的第三方评测"本身就是稀缺品。

推荐方案

• 选型阶段（看清真实可靠度）：忽略单点 best-of-k 榜单分，强制要求供应商提供 pass^k 报告；优先看 τ-bench/tau2 的 pass^k 列与 gap 值，gap>20个百分点的Agent慎用于关键路径。
• 编码场景：SWE-bench Verified 87% 已近天花板，区分度低，改看其 bash-only 子榜与 SWE-bench Multilingual / Multimodal，并自建私有issue holdout。
• 检索/研究场景：BrowseComp 高分只保证召回，需叠加 WebArena 或自建交互式holdout验证执行链路。
• 多模态通用助手：GAIA 作为基线，但务必自建带温度控制与多次采样的eval pipeline，把一致性税量化进交付指标。
• 想变现者：从"私有 holdout + pass^k 报告"切入，做行业级 eval-as-a-service，避开已饱和的公开榜红海。

参考来源

1. SWE-bench Verified 官方榜单 — 500条人工校验的GitHub issue基准，含bash-only子榜与计分说明
2. τ-bench (taubench.com) — Sierra Research客服工具调用基准，原生支持pass^k一致性评测
3. Tau-Bench Retail and Airline: Frontier Pass¹ Below 70% — Benchmarking Agents — pass^k vs best-of-k一致性税分析与GPT-4o 60%→25%坍塌数据
4. BrowseComp: a benchmark for browsing agents — OpenAI — 难找答案检索基准的官方定义
5. Beyond SWE-bench: 8 AI Agent Benchmarks That Actually Matter in 2026 — AgentMarketCap — 八大基准横评与饱和/污染分析

本文由「51学通信」原创，站长爱卫生（微信：gprshome201101）。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。