# 做对一次不算会：智能体评测三栈横评（能力榜 / 可靠性榜 / 自评框架）
## 概述
LangChain 在《2026 State of Agent Engineering Report》中给出一个尴尬的数字：**57% 的组织已经把智能体推上生产，却只有 52% 跑离线评测、37% 跑在线评测**。换句话说，近一半团队在"裸奔上线"。这背后是一个被低估的事实——传统单元测试的 `assert result == "expected"` 对非确定性的智能体彻底失效：同一个 prompt 跑十次，可能十次都对，也可能三次对七次崩。智能体评测因此在 2026 年正式分裂成**三层独立的"栈"**：测**能不能**的能力榜（SWE-bench、GAIA、WebArena）、测**稳不稳**的可靠性榜（τ-bench 的 pass^k）、以及测**上线前过不过关**的自评/CI 框架（MLflow、DeepEval、Braintrust、LangSmith、Phoenix、Ragas）。本文按这三栈逐一拆解架构、给代码片段、评优缺点与变现路径。
---
## 第一栈：能力榜——测"能不能"，但别被它骗了
能力榜回答最朴素的问题：模型在多步任务上**能不能完成**。2026 年的六大公认能力榜是 SWE-bench Verified、WebArena、AgentBench、Terminal-Bench、OSWorld、GAIA。它们的共同点是把"模型当智能体用"——必须规划、调工具、维护状态、从错误中恢复。
但能力榜有一个根深蒂固的幻觉：**MMLU/GPQA/HumanEval 这类静态问答分，根本不预测智能体能力**。一个 MMLU-Pro 顶配的模型，照样可能在 WebArena 上栽在"跨三个页面取信息再填表再校验"这种活上。benchmarkingagents.com 的独立评审甚至公开声明**不再重印任何单模型分数表**，理由是官方榜单是 JS 渲染、滞后于前沿，且厂商自报数字用的测试台无法检验——这是 2026 年评测圈最值得记下的一句实话。
以 SWE-bench Verified 为例：500 道经人核验的真实 GitHub issue（Django、SymPy、matplotlib 等 12 个 Python 仓库），给仓库状态、issue 描述和一个失败测试，智能体必须产出能让测试全过的补丁。它**强在任务真实、判定客观**，但弱在三点：纯 Python、测试存在 flakiness、git 历史里有现成解法造成污染风险，以及最致命的——**"过测试 ≠ 生产可用"**。
```
能力榜的本质 = 能力上界探测，不是质量保证。
高分 ≠ 上线稳；低分 = 一定不行。
```
变现角度：能力榜选型适合做成**"模型选型咨询"**——帮客户在 SWE-bench/WebArena 上跑自家任务子集，给出"该押哪个底座模型"的报告。
---
## 第二栈：可靠性榜——τ-bench 与 pass^k，单独成派的原因
能力榜测"能不能做对一次"，可靠性榜测"能不能**次次做对**"。这一栈的代表就是 Sierra 的 **τ-bench**（读作 tau-bench），它用一个指标把整个行业点醒：**pass^k**——智能体在 k 次独立试验中全部成功的概率。
这个指标为什么致命？因为它**惩罚"偶尔正确"的系统**。beancount 与 callsphere 的复测显示：Claude 3.5 Sonnet 在 τ-bench retail 上 pass@1 还有 0.692，到 pass@4 就掉到 **0.462**；GPT-4o 在 pass^8 下甚至**跌破 25%**。这意味着一个"演示时惊艳"的智能体，真放到客服后台连跑 8 单，可能 6 单崩。pass@1 到 pass^k 的塌方，就是可靠性榜存在的全部理由。
τ-bench 最新版本已演进到 **τ³-bench**（GitHub: sierra-research/tau2-bench，arXiv 2506.07982），从纯文本半双工扩展到**语音全双工**（接 OpenAI/Gemini/xAI 实时 API）和**知识检索域** `banking_knowledge`（可配置 RAG 流水线），并依据 SABER 论文修正了 75+ 条任务标注缺陷。当前覆盖域为 `mock · airline · retail · telecom · banking_knowledge`。
τ-bench 最聪明的设计在于**判定方式**：它不靠 LLM 当裁判判通过/失败，而是**把智能体操作后的数据库最终状态与人工标注的目标状态做 diff**——这绕开了"LLM 裁判自己也不稳"的循环依赖，使可靠性数字可信。
来看一份 steel.dev 维护的 pass^1 榜（2026-04-16，gpt-5.2 用户模拟器、reasoning 开）快照——注意**榜首被国产模型包揽**这一反常识结论：
| 模型 | τ-bench pass^1 | 机构 |
|---|---|---|
| Step-3.5-Flash | **88.2%** | StepFun |
| GLM-4.7 | **87.4%** | Z.ai |
| MiMo-V2-Flash | 80.3% | 小米 |
| MiniMax M2 | 77.2% | MiniMax |
| Claude Opus 4.5 | 70.2% | Anthropic |
| GPT-5.2 | 69.9% | OpenAI |
| Gemini 3 Pro | 65.8% | Google DeepMind |
| GLM-5 | 63.2% | Zhipu AI |
| Claude Sonnet 4.5 | 62.9% | Anthropic |
**读这张表必须带一个前提**：不同行的用户模拟器、工具 schema、试次数都不同，pass^k 会随之变化。Step-3.5-Flash 88.2% 是"高一致性工具调用"调优的产物，而非绝对能力王。可靠性榜的真正用法，是**拿着同一套 harness 跑 pass^k，看谁塌得最慢**。
```python
# τ-bench：一次可靠性试验的最小命令
tau2 run --domain airline --agent-llm gpt-4.1 --user-llm gpt-4.1 \
--num-trials 8 --num-tasks 50 # num-trials=8 即可观察 pass^8 的塌方
```
变现角度：可靠性榜是**最硬的交付物**。给客户一份"你的客服智能体在 pass^4 下从 0.69 掉到 0.46"的可靠性体检报告，比任何 PPT 都有杀伤力，可直接包装成"智能体可靠性审计"服务。
---
## 第三栈·广度王：MLflow——唯一把评测、调优、网关合一的平台
能力榜和可靠性榜是"对外榜单"，但团队每天要做的是**上线前自评**。这一栈 2026 年的格局是：MLflow、DeepEval、LangSmith、Braintrust、Arize Phoenix、Ragas 六选一。先上一张横评总表：
| 维度 | MLflow | DeepEval | LangSmith | Braintrust | Arize Phoenix | Ragas |
|---|---|---|---|---|---|---|
| 许可/开源 | Apache 2.0 | Apache 2.0 | 闭源 | 闭源 | ELv2（OSS 可用） | Apache 2.0 |
| PyPI 月下载 | **30M+** | 1.9M+ | 65M+（注水）¹ | 3M+ | 1M+ | 1M+ |
| 内置指标 | 40+（GPA） | **50+** | 20+ | 25+ | 50+ | RAG 专项 |
| 多轮/轨迹评测 | 全轨迹感知 | span 级 | LangGraph 原生 | trace 级 | 弱 | 无 |
| CI/CD 集成 | 原生 | **pytest 原生** | LangChain CI | **评测门禁部署** | 弱 | 弱 |
| 人工反馈 | 内建 | 无 | 标注队列 | Feedback API | 有 | 无 |
| 判官自对齐 | **GEPA/MemAlign 自动** | 无 | 手动 | NL→判官循环 | 无 | 无 |
| 可视化 | 内建 | 需 Confident AI 付费 | 强 | 强 | 强 | 无 |
| 定价 | 完全免费 | OSS 免费；Confident AI $19.99/人 | 免费 5K；Plus $39/座 | 免费 1M span；Pro $249 | OSS 免费；云 $50+/月 | 免费 |
¹ LangSmith 的 65M+ 是因为它作为 `langchain` 的自动依赖被拉取，**真实活跃度应看有效调用而非包拉取**。
MLflow 之所以是广度王，核心在三点：第一，`mlflow.genai.evaluate()` 是**轨迹感知**的——它拿到完整执行轨迹（工具调用、推理、规划），用内置 **Agent GPA** 指标打分（工具选择质量、规划质量、逻辑一致性、执行效率），而不只看最终答案。第二，**判官自对齐**用 GEPA 和 MemAlign 算法，你标几十条人工样本，判官 prompt 会自动往人工判断上靠——这是唯一"从人工反馈自动变准"的开源栈。第三，它原生能把 DeepEval、Ragas、Phoenix、TruLens 当插件用，评测还能接到 prompt 优化（GEPA/MIPRO）和 AI Gateway，是**唯一一个评测→调优→治理合一**的平台。
代价：功能太宽，只想验"我的 RAG 通不通"的团队会觉得重。
```python
import mlflow
results = mlflow.evaluate(
data=eval_dataset,
model=agent_model_fn, # 你的智能体当 callable
model_type="genai",
evaluators="default", # 含 Agent GPA 打分器
extra_metrics=[my_custom_scorer],
)
print(f"工具选择 GPA: {results.metrics['tool_selection_gpa']}")
```
---
## 第三栈·CI 王：DeepEval——pytest 原生，把评测塞进 pre-commit
如果你团队已经在 pytest 里活着，DeepEval 是阻力最小的选择。它的杀手锏是**pytest 原生接口**：`assert_test()`、fixtures、测试发现、熟悉的 CLI，一个 import 就能把智能体评测接进既有测试流水线，快到能挂在 pre-commit hook 上。
它带 **50+ 研究背书的智能体指标**（工具选择正确性、规划忠实度、推理准确性、幻觉检测），LLM 判官和 NLP 模型可**本地跑**，且是 **span 级评测**——逐步给智能体执行打分。代价很明确：**没有内建可视化、追踪和生产监控**。要仪表盘和协作，得买 Confident AI（$19.99/人/月，免费版 2 席、每周 5 次测试）。它也不轨迹感知——你得自己喂数据，连不上生产 trace。
```python
from deepeval import assert_test
from deepeval.metrics import AgentToolSelectionMetric
def test_agent_tool_selection():
metric = AgentToolSelectionMetric(threshold=0.8)
assert_test(test_case, [metric]) # 低于 0.8 直接 CI 红
```
**变现角度**：DeepEval 最适合做成**"智能体 CI 评测模板库"训练营**——按客服/代码/研究三个场景，各发一套带 50+ 指标的 pytest 模板，学员照着改阈值就能用。门槛低、复用高、易标准化。
---
## 第三栈·编排派 vs 评测驱动派：LangSmith 与 Braintrust 的路线分野
LangSmith 和 Braintrust 都闭源，但代表了两种截然不同的工程文化。
**LangSmith** 是**与编排紧耦合**的一派——只要你在 LangChain/LangGraph 栈里，开箱即用。它的 trace viewer 能把智能体图渲染成完整决策树：选了哪个工具、为什么选、推理怎么流动。指标 20+，有人工标注队列。但它脱离 LangChain 生态后体验锐减，且闭源、数据不在自己手里，对有合规要求的团队是硬伤。
**Braintrust** 则把赌注押在**评测驱动开发（eval-driven dev）**这件事本身上。它不强绑任何编排框架，主张"先写评测再写代码"，3M+ 月下载、25+ 打分器，最大特色是**用评测门禁卡部署**——评测不过线就不让上线，把 CI 的红线从"测试通过"升级成"质量过线"。对想建立"没有评测就不许 ship"文化的团队，它是首选。
```mermaid
flowchart TD
A[智能体轨迹 trace] --> B{评测三栈}
B --> C["第一栈 能力榜
SWE-bench · GAIA · WebArena
测：能不能（上界）"]
B --> D["第二栈 可靠性榜
τ-bench pass^k
测：稳不稳（次次对）"]
B --> E["第三栈 自评/CI
MLflow · DeepEval · Braintrust
测：上线前过不过关"]
C --> F[底座模型选型]
D --> G[可靠性门禁 pass^k ≥ 阈值]
E --> H[CI 红线 质量分 ≥ 阈值]
G --> I{上线}
H --> I
I -.生产 trace 回灌.-> E
I -.可靠性漂移监控.-> D
```
---
## 第三栈·监控外延派与 RAG 专项派：Arize Phoenix 与 Ragas
**Arize Phoenix**（ELv2，OSS 可用，1M+ 月下载）是**从传统 ML 可观测外延到 LLM 评测**的一派。它强在生产监控和 50+ 研究背书指标，UI 漂亮，特别适合"已经有 ML 监控体系、想顺手把 LLM 评测接进来"的团队。短板是多轮评测较弱、ELv2 许可对部分商业化场景有约束。它能原生当 MLflow 的打分器插件，是很好的"补位"而非"主力"。
**Ragas** 则是**RAG 专项派**——只回答"我的检索增强系统好不好"：忠实度（faithfulness）、答案相关性、上下文精确率/召回率。它不做智能体轨迹评测、不做多轮对话、没有可视化。但如果你交付物就是个 RAG 问答机器人，Ragas 的指标专注度和易用性是最高性价比。Ragas 同样能作为 MLflow 插件被复用。
> 边界澄清：可观测（observability）回答"上线后**正在发生什么**"，评测（evaluation）回答"上线前**能不能过、稳不稳**"。Phoenix/LangSmith 横跨两者，但本文只评它们作"评测/测试"的那一面。
---
## 三栈拼装：能力榜选型 + 可靠性门禁 + CI 自评的落地配方
把三栈拼成一条产线，是本文最值钱的结论：
1. **底座选型用能力榜**：在 SWE-bench/WebArena 上跑自家任务子集（别只看公开榜，自己造 50–100 条领域任务），筛出 2–3 个候选底座。
2. **可靠性门禁用 τ-bench pass^k**：对候选底座在同一 harness 下跑 pass^4 或 pass^8，**淘汰掉 pass@1 高但 pass^k 塌方的"演示型"模型**。把"pass^k ≥ 0.6"写进上线 checklist。
3. **CI 自评用 MLflow + DeepEval 组合**：DeepEval 在 pre-commit/CI 卡 pytest 红线（工具选择 ≥ 0.8、无幻觉），MLflow 跑轨迹级 GPA 并用 GEPA 把判官对齐到人工标注，再把生产 trace 回灌成评测数据集，闭合"上线→漂移→重测"循环。
这套配方的关键洞察是：**三栈各管一段，互相不可替代**。只做能力榜会被"过测试≠生产可用"打脸；只做可靠性榜没有 CI 自评则上线后无人兜底；只做 CI 自评而不上可靠性榜，会漏掉"偶尔对"的塌方风险。三者拼齐，才能把"裸奔上线"的 57% 变成"评测门禁上线"。
---
## 变现与训练营评估
这套三栈框架的变现路径清晰且分层：
- **轻量产品**：τ-bench pass^k 可靠性体检报告（按客户智能体跑 pass^8，交付塌方曲线 + 改进建议），单次交付型，边际成本低。
- **训练营**："智能体评测工程师"认证——能力榜选型 + τ-bench 可靠性门禁 + DeepEval/MLflow CI 模板库，三模块各配客服/代码/研究三场景模板，标准化程度高、可复用、易批改。这是六栈里最适合做规模化培训的一栈，因为评测是"客观打分"，天然适合做作业与认证。
- **咨询高客单**：给企业搭"评测门禁 + 生产 trace 回灌"的完整闭环（MLflow 自托管为主），属于长期 retainer。
唯一风险：评测栈门槛比编排栈高（要懂指标、判官对齐、统计采样），训练营需要把"为什么 pass@1 不够"讲透，否则学员只会调阈值不懂原理。
---
## 推荐方案（按场景）
- **只想验 RAG 好不好** → Ragas（或 Ragas 作 MLflow 插件）。
- **团队在 pytest 里、要 CI 卡红线** → DeepEval + Confident AI 看板。
- **全 LangChain/LangGraph 栈** → LangSmith，开箱即用但接受闭源。
- **要"没评测不许 ship"文化、不绑框架** → Braintrust。
- **要数据自治 + 评测调优治理合一** → MLflow（广度王，且能把 DeepEval/Ragas/Phoenix 当插件）。
- **任何认真上线的智能体** → 必加 τ-bench pass^k 作可靠性门禁，**pass^k ≥ 0.6 是底线**，别让"做对一次"骗了你。
记住本文的一句话结论：**做对一次不算会，pass^k 才是真及格线；能力榜选模型，可靠性榜定生死，CI 自评守上线。**
---
## 参考来源
1. [τ²-bench / τ³-bench — GitHub: sierra-research/tau2-bench](https://github.com/sierra-research/tau2-bench) — Sierra 官方仓库，含 pass^k 指标定义、五大域（airline/retail/telecom/banking_knowledge/voice）、τ³ 多模态与 75+ 任务修正说明，arXiv 2506.07982。
2. [τ-bench Live Leaderboard — steel.dev](https://leaderboard.steel.dev/leaderboards/tau-bench/) — 独立维护的 pass^1 榜（2026-04-16 更新），含 Step-3.5-Flash 88.2%、GLM-4.7 87.4%、Claude Opus 4.5 70.2%、GPT-5.2 69.9% 等行，附方法学与"DB 状态 diff 判定"说明。
3. [AI Agent Evaluation in 2026: 5 Frameworks Compared — NiteAgent](https://niteagent.com/blog/2026-05-21-ai-agent-eval-frameworks-compared/) — MLflow/DeepEval/LangSmith/Braintrust/Phoenix 五栈横评，引 LangChain 2026 State of Agent Engineering Report（57% 上线、52% 离线评测、37% 在线评测）。
4. [Top 5 Agent Evaluation Tools in 2026 — MLflow](https://mlflow.org/top-5-agent-evaluation-frameworks) — 评测工具选型四要素（内置指标、人工→自动反馈、多轮评测、产研闭环）与六栈能力对比表。
5. [AI Agent Benchmarks 2026 — benchmarkingagents.com](https://benchmarkingagents.com/agent-benchmarks/) — 六大能力榜（SWE-bench Verified/WebArena/AgentBench/Terminal-Bench/OSWorld/GAIA）的构造、方法学与局限，含"MMLU 不预测智能体能力""过测试≠生产可用"的独立评审立场。
6. [τ-bench: Measuring AI Agent Reliability — beancount.io](https://beancount.io/bean-labs/research-logs/2026/06/12/tau-bench-tool-agent-user-interaction-real-world-domains) — Claude 3.5 Sonnet pass@1 0.692 → pass@4 0.462 的可靠性塌方复测；arXiv 2406.12045（原始 τ-bench 论文，pass^k 指标出处）。
> [!tip] 51学通信知识星球
> **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。
> **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。
> **当前规模**：5200 篇主题 / 990 个回答，198 元/年。
> **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。
> **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。
