做对一次不算会：智能体评测三栈横评（能力榜 / 可靠性榜 / 自评框架）

概述

LangChain 在《2026 State of Agent Engineering Report》中给出一个尴尬的数字：57% 的组织已经把智能体推上生产，却只有 52% 跑离线评测、37% 跑在线评测。换句话说，近一半团队在"裸奔上线"。这背后是一个被低估的事实——传统单元测试的 assert result == "expected" 对非确定性的智能体彻底失效：同一个 prompt 跑十次，可能十次都对，也可能三次对七次崩。智能体评测因此在 2026 年正式分裂成三层独立的"栈"：测能不能的能力榜（SWE-bench、GAIA、WebArena）、测稳不稳的可靠性榜（τ-bench 的 pass^k）、以及测上线前过不过关的自评/CI 框架（MLflow、DeepEval、Braintrust、LangSmith、Phoenix、Ragas）。本文按这三栈逐一拆解架构、给代码片段、评优缺点与变现路径。

第一栈：能力榜——测"能不能"，但别被它骗了

能力榜回答最朴素的问题：模型在多步任务上能不能完成。2026 年的六大公认能力榜是 SWE-bench Verified、WebArena、AgentBench、Terminal-Bench、OSWorld、GAIA。它们的共同点是把"模型当智能体用"——必须规划、调工具、维护状态、从错误中恢复。

但能力榜有一个根深蒂固的幻觉：MMLU/GPQA/HumanEval 这类静态问答分，根本不预测智能体能力。一个 MMLU-Pro 顶配的模型，照样可能在 WebArena 上栽在"跨三个页面取信息再填表再校验"这种活上。benchmarkingagents.com 的独立评审甚至公开声明不再重印任何单模型分数表，理由是官方榜单是 JS 渲染、滞后于前沿，且厂商自报数字用的测试台无法检验——这是 2026 年评测圈最值得记下的一句实话。

以 SWE-bench Verified 为例：500 道经人核验的真实 GitHub issue（Django、SymPy、matplotlib 等 12 个 Python 仓库），给仓库状态、issue 描述和一个失败测试，智能体必须产出能让测试全过的补丁。它强在任务真实、判定客观，但弱在三点：纯 Python、测试存在 flakiness、git 历史里有现成解法造成污染风险，以及最致命的——"过测试 ≠ 生产可用"。

能力榜的本质 = 能力上界探测，不是质量保证。
高分 ≠ 上线稳；低分 = 一定不行。

变现角度：能力榜选型适合做成"模型选型咨询"——帮客户在 SWE-bench/WebArena 上跑自家任务子集，给出"该押哪个底座模型"的报告。

第二栈：可靠性榜——τ-bench 与 pass^k，单独成派的原因

能力榜测"能不能做对一次"，可靠性榜测"能不能次次做对"。这一栈的代表就是 Sierra 的 τ-bench（读作 tau-bench），它用一个指标把整个行业点醒：pass^k——智能体在 k 次独立试验中全部成功的概率。

这个指标为什么致命？因为它惩罚"偶尔正确"的系统。beancount 与 callsphere 的复测显示：Claude 3.5 Sonnet 在 τ-bench retail 上 pass@1 还有 0.692，到 pass@4 就掉到 0.462；GPT-4o 在 pass^8 下甚至跌破 25%。这意味着一个"演示时惊艳"的智能体，真放到客服后台连跑 8 单，可能 6 单崩。pass@1 到 pass^k 的塌方，就是可靠性榜存在的全部理由。

τ-bench 最新版本已演进到 τ³-bench（GitHub: sierra-research/tau2-bench，arXiv 2506.07982），从纯文本半双工扩展到语音全双工（接 OpenAI/Gemini/xAI 实时 API）和知识检索域 banking_knowledge（可配置 RAG 流水线），并依据 SABER 论文修正了 75+ 条任务标注缺陷。当前覆盖域为 mock · airline · retail · telecom · banking_knowledge。

τ-bench 最聪明的设计在于判定方式：它不靠 LLM 当裁判判通过/失败，而是把智能体操作后的数据库最终状态与人工标注的目标状态做 diff——这绕开了"LLM 裁判自己也不稳"的循环依赖，使可靠性数字可信。

来看一份 steel.dev 维护的 pass^1 榜（2026-04-16，gpt-5.2 用户模拟器、reasoning 开）快照——注意榜首被国产模型包揽这一反常识结论：

读这张表必须带一个前提：不同行的用户模拟器、工具 schema、试次数都不同，pass^k 会随之变化。Step-3.5-Flash 88.2% 是"高一致性工具调用"调优的产物，而非绝对能力王。可靠性榜的真正用法，是拿着同一套 harness 跑 pass^k，看谁塌得最慢。

# τ-bench：一次可靠性试验的最小命令
tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 \
  --num-trials 8 --num-tasks 50   # num-trials=8 即可观察 pass^8 的塌方

变现角度：可靠性榜是最硬的交付物。给客户一份"你的客服智能体在 pass^4 下从 0.69 掉到 0.46"的可靠性体检报告，比任何 PPT 都有杀伤力，可直接包装成"智能体可靠性审计"服务。

第三栈·广度王：MLflow——唯一把评测、调优、网关合一的平台

能力榜和可靠性榜是"对外榜单"，但团队每天要做的是上线前自评。这一栈 2026 年的格局是：MLflow、DeepEval、LangSmith、Braintrust、Arize Phoenix、Ragas 六选一。先上一张横评总表：

¹ LangSmith 的 65M+ 是因为它作为 langchain 的自动依赖被拉取，真实活跃度应看有效调用而非包拉取。

MLflow 之所以是广度王，核心在三点：第一，mlflow.genai.evaluate() 是轨迹感知的——它拿到完整执行轨迹（工具调用、推理、规划），用内置 Agent GPA 指标打分（工具选择质量、规划质量、逻辑一致性、执行效率），而不只看最终答案。第二，判官自对齐用 GEPA 和 MemAlign 算法，你标几十条人工样本，判官 prompt 会自动往人工判断上靠——这是唯一"从人工反馈自动变准"的开源栈。第三，它原生能把 DeepEval、Ragas、Phoenix、TruLens 当插件用，评测还能接到 prompt 优化（GEPA/MIPRO）和 AI Gateway，是唯一一个评测→调优→治理合一的平台。

代价：功能太宽，只想验"我的 RAG 通不通"的团队会觉得重。

import mlflow
results = mlflow.evaluate(
    data=eval_dataset,
    model=agent_model_fn,        # 你的智能体当 callable
    model_type="genai",
    evaluators="default",        # 含 Agent GPA 打分器
    extra_metrics=[my_custom_scorer],
)
print(f"工具选择 GPA: {results.metrics['tool_selection_gpa']}")

第三栈·CI 王：DeepEval——pytest 原生，把评测塞进 pre-commit

如果你团队已经在 pytest 里活着，DeepEval 是阻力最小的选择。它的杀手锏是pytest 原生接口：assert_test()、fixtures、测试发现、熟悉的 CLI，一个 import 就能把智能体评测接进既有测试流水线，快到能挂在 pre-commit hook 上。

它带 50+ 研究背书的智能体指标（工具选择正确性、规划忠实度、推理准确性、幻觉检测），LLM 判官和 NLP 模型可本地跑，且是 span 级评测——逐步给智能体执行打分。代价很明确：没有内建可视化、追踪和生产监控。要仪表盘和协作，得买 Confident AI（$19.99/人/月，免费版 2 席、每周 5 次测试）。它也不轨迹感知——你得自己喂数据，连不上生产 trace。

from deepeval import assert_test
from deepeval.metrics import AgentToolSelectionMetric

def test_agent_tool_selection():
    metric = AgentToolSelectionMetric(threshold=0.8)
    assert_test(test_case, [metric])   # 低于 0.8 直接 CI 红

变现角度：DeepEval 最适合做成"智能体 CI 评测模板库"训练营——按客服/代码/研究三个场景，各发一套带 50+ 指标的 pytest 模板，学员照着改阈值就能用。门槛低、复用高、易标准化。

第三栈·编排派 vs 评测驱动派：LangSmith 与 Braintrust 的路线分野

LangSmith 和 Braintrust 都闭源，但代表了两种截然不同的工程文化。

LangSmith 是与编排紧耦合的一派——只要你在 LangChain/LangGraph 栈里，开箱即用。它的 trace viewer 能把智能体图渲染成完整决策树：选了哪个工具、为什么选、推理怎么流动。指标 20+，有人工标注队列。但它脱离 LangChain 生态后体验锐减，且闭源、数据不在自己手里，对有合规要求的团队是硬伤。

Braintrust 则把赌注押在评测驱动开发（eval-driven dev）这件事本身上。它不强绑任何编排框架，主张"先写评测再写代码"，3M+ 月下载、25+ 打分器，最大特色是用评测门禁卡部署——评测不过线就不让上线，把 CI 的红线从"测试通过"升级成"质量过线"。对想建立"没有评测就不许 ship"文化的团队，它是首选。

flowchart TD
    A[智能体轨迹 trace] --> B{评测三栈}
    B --> C["第一栈 能力榜<br/>SWE-bench · GAIA · WebArena<br/>测：能不能（上界）"]
    B --> D["第二栈 可靠性榜<br/>τ-bench pass^k<br/>测：稳不稳（次次对）"]
    B --> E["第三栈 自评/CI<br/>MLflow · DeepEval · Braintrust<br/>测：上线前过不过关"]
    C --> F[底座模型选型]
    D --> G[可靠性门禁 pass^k ≥ 阈值]
    E --> H[CI 红线 质量分 ≥ 阈值]
    G --> I{上线}
    H --> I
    I -.生产 trace 回灌.-> E
    I -.可靠性漂移监控.-> D

第三栈·监控外延派与 RAG 专项派：Arize Phoenix 与 Ragas

Arize Phoenix（ELv2，OSS 可用，1M+ 月下载）是从传统 ML 可观测外延到 LLM 评测的一派。它强在生产监控和 50+ 研究背书指标，UI 漂亮，特别适合"已经有 ML 监控体系、想顺手把 LLM 评测接进来"的团队。短板是多轮评测较弱、ELv2 许可对部分商业化场景有约束。它能原生当 MLflow 的打分器插件，是很好的"补位"而非"主力"。

Ragas 则是RAG 专项派——只回答"我的检索增强系统好不好"：忠实度（faithfulness）、答案相关性、上下文精确率/召回率。它不做智能体轨迹评测、不做多轮对话、没有可视化。但如果你交付物就是个 RAG 问答机器人，Ragas 的指标专注度和易用性是最高性价比。Ragas 同样能作为 MLflow 插件被复用。

边界澄清：可观测（observability）回答"上线后正在发生什么"，评测（evaluation）回答"上线前能不能过、稳不稳"。Phoenix/LangSmith 横跨两者，但本文只评它们作"评测/测试"的那一面。

三栈拼装：能力榜选型 + 可靠性门禁 + CI 自评的落地配方

把三栈拼成一条产线，是本文最值钱的结论：

1. 底座选型用能力榜：在 SWE-bench/WebArena 上跑自家任务子集（别只看公开榜，自己造 50–100 条领域任务），筛出 2–3 个候选底座。
2. 可靠性门禁用 τ-bench pass^k：对候选底座在同一 harness 下跑 pass^4 或 pass^8，淘汰掉 pass@1 高但 pass^k 塌方的"演示型"模型。把"pass^k ≥ 0.6"写进上线 checklist。
3. CI 自评用 MLflow + DeepEval 组合：DeepEval 在 pre-commit/CI 卡 pytest 红线（工具选择 ≥ 0.8、无幻觉），MLflow 跑轨迹级 GPA 并用 GEPA 把判官对齐到人工标注，再把生产 trace 回灌成评测数据集，闭合"上线→漂移→重测"循环。

这套配方的关键洞察是：三栈各管一段，互相不可替代。只做能力榜会被"过测试≠生产可用"打脸；只做可靠性榜没有 CI 自评则上线后无人兜底；只做 CI 自评而不上可靠性榜，会漏掉"偶尔对"的塌方风险。三者拼齐，才能把"裸奔上线"的 57% 变成"评测门禁上线"。

变现与训练营评估

这套三栈框架的变现路径清晰且分层：

• 轻量产品：τ-bench pass^k 可靠性体检报告（按客户智能体跑 pass^8，交付塌方曲线 + 改进建议），单次交付型，边际成本低。
• 训练营："智能体评测工程师"认证——能力榜选型 + τ-bench 可靠性门禁 + DeepEval/MLflow CI 模板库，三模块各配客服/代码/研究三场景模板，标准化程度高、可复用、易批改。这是六栈里最适合做规模化培训的一栈，因为评测是"客观打分"，天然适合做作业与认证。
• 咨询高客单：给企业搭"评测门禁 + 生产 trace 回灌"的完整闭环（MLflow 自托管为主），属于长期 retainer。

唯一风险：评测栈门槛比编排栈高（要懂指标、判官对齐、统计采样），训练营需要把"为什么 pass@1 不够"讲透，否则学员只会调阈值不懂原理。

推荐方案（按场景）

• 只想验 RAG 好不好 → Ragas（或 Ragas 作 MLflow 插件）。
• 团队在 pytest 里、要 CI 卡红线 → DeepEval + Confident AI 看板。
• 全 LangChain/LangGraph 栈 → LangSmith，开箱即用但接受闭源。
• 要"没评测不许 ship"文化、不绑框架 → Braintrust。
• 要数据自治 + 评测调优治理合一 → MLflow（广度王，且能把 DeepEval/Ragas/Phoenix 当插件）。
• 任何认真上线的智能体 → 必加 τ-bench pass^k 作可靠性门禁，pass^k ≥ 0.6 是底线，别让"做对一次"骗了你。

记住本文的一句话结论：做对一次不算会，pass^k 才是真及格线；能力榜选模型，可靠性榜定生死，CI 自评守上线。

参考来源

1. τ²-bench / τ³-bench — GitHub: sierra-research/tau2-bench — Sierra 官方仓库，含 pass^k 指标定义、五大域（airline/retail/telecom/banking_knowledge/voice）、τ³ 多模态与 75+ 任务修正说明，arXiv 2506.07982。
2. τ-bench Live Leaderboard — steel.dev — 独立维护的 pass^1 榜（2026-04-16 更新），含 Step-3.5-Flash 88.2%、GLM-4.7 87.4%、Claude Opus 4.5 70.2%、GPT-5.2 69.9% 等行，附方法学与"DB 状态 diff 判定"说明。
3. AI Agent Evaluation in 2026: 5 Frameworks Compared — NiteAgent — MLflow/DeepEval/LangSmith/Braintrust/Phoenix 五栈横评，引 LangChain 2026 State of Agent Engineering Report（57% 上线、52% 离线评测、37% 在线评测）。
4. Top 5 Agent Evaluation Tools in 2026 — MLflow — 评测工具选型四要素（内置指标、人工→自动反馈、多轮评测、产研闭环）与六栈能力对比表。
5. AI Agent Benchmarks 2026 — benchmarkingagents.com — 六大能力榜（SWE-bench Verified/WebArena/AgentBench/Terminal-Bench/OSWorld/GAIA）的构造、方法学与局限，含"MMLU 不预测智能体能力""过测试≠生产可用"的独立评审立场。
6. τ-bench: Measuring AI Agent Reliability — beancount.io — Claude 3.5 Sonnet pass@1 0.692 → pass@4 0.462 的可靠性塌方复测；arXiv 2406.12045（原始 τ-bench 论文，pass^k 指标出处）。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。