<!-- title: 原生追踪不够用：可观测后端横评 -->

# 原生追踪不够用：智能体可观测后端横评

## 概述

把 OpenAI Agents SDK、LangGraph、CrewAI、AutoGen 跑起来的第一件事，几乎每个框架都会"顺手"送你一个追踪面板——OpenAI 的 Tracing、LangGraph 的 Studio、CrewAI 的内置 tracking。这层东西看着能看，但它本质上都是 Demo 级设施：能让你在调试期确认"它确实在转"，却给不了生产期真正要回答的三个问题——这次失败归因到哪一步、这次会话烧了多少 token、改了一版 prompt 到底有没有回归。本文横评七条可观测后端路径，核心发现有三：其一，**框架原生追踪是钩子不是产品**，生产级观测必须外接后端；其二，**免费额度之间差了将近 200 倍**（Braintrust 1M spans 对 LangSmith 5K traces），选错后端第一年就多烧一台 A100；其三，**OpenTelemetry 是唯一的逃生舱**——一旦用 OTel 埋点，Langfuse、LangSmith、Phoenix、Datadog 可以互换而不动一行业务代码。叠加 2026 年 1 月 ClickHouse 以 150 亿美元估值吞下 Langfuse、Helicone 进入维护模式两件行业事件，可观测后端层正在快速收敛，现在选型就是选未来三年的锁定成本。

## 一、可观测后端对比定盘

| 后端/工具 | 部署模式 | 免费额度 | 接入方式 | 核心强项 | 锁定风险 | 变现包装难度 |
|---|---|---|---|---|---|---|
| **Langfuse**（已被 ClickHouse 收购） | 自托管 MIT 免费 / 云 | 云 Hobby 50K 事件/月 | SDK + OTel | prompt 管理+评估全栈，自托管可控 | 低（MIT 开源） | 易 |
| **LangSmith** | 云 / 混合 / 企业自托管 | 5K traces/月（1 座） | 原生 LangChain ~30min | prompt 版本+Fleet 多智能体治理 | 高（LangChain 锁定，闭源） | 中 |
| **Pydantic Logfire** | 云 SaaS（OTel 可导出） | 个人 10M spans/月 | decorator 自动埋点 | 全栈观测（非仅 LLM），Pydantic 深度 | 中（平台闭源，OTel 降险） | 易 |
| **Braintrust** | 云 / 企业混合 | 1M spans + 10K scores | SDK 原生 13+ 框架 | 评估优先+Loop 自动调优 | 中 | 中（评估咨询） |
| **Arize Phoenix** | 自托管 Docker 免费 / 云 | 自托管无上限 | OTel | 评估专精（幻觉/漂移），50+ 框架 | 低（开源） | 易 |
| **AgentOps** | 云 | 试用 1K 事件，Pro $40/月 | Python SDK | 时间旅行调试+多智能体回放 | 中高（仅 Python，云，生态小） | 中 |
| **Datadog LLM Obs** | 云 SaaS（企业） | 企业按 span 计费 | SDK | 全栈 APM+合规一张图 | 高（昂贵，云独占） | 难（企业销售） |

横轴上唯一能"既要又要"的是 **OTel 兼容性**：Langfuse、Phoenix、Logfire、Braintrust 全部吃 OTLP，意味着你换后端只改环境变量；LangSmith 与 Datadog 走私有协议，换出成本高。这一行才是定盘星，其余都是参数。

## 二、框架原生追踪的 Demo 陷阱

要理解为什么必须外接后端，先看框架自带的追踪到底给了什么。**OpenAI Agents SDK** 自称 "lightweight"，文档反复强调它只提供 loop、tools、handoffs、session 这几个原语，刻意省掉了可观测面板、评估套件、prompt 管理 UI。它确实带了一个基础 Tracing 功能，能在 OpenAI 面板里看到 run——但官方定位原话是 "intended for simple debugging rather than the deep, analytical insight offered by a dedicated platform like Langfuse"。换句话说，**它是给你看"在转"的，不是给你看"为什么转挂了"的**。

**LangGraph** 走的是另一条路：原生对接 LangSmith，零配置就能出 trace、token、延迟、成本归因。这是体验最顺的，但代价是**结构性的锁定**——LangSmith 是闭源 SaaS，要自托管、要混非 LangChain 组件进同一张图，立刻捉襟见肘。**CrewAI** 自带一套很薄的观测，但社区共识是"生产还得外接"——它对 AgentOps、Langfuse 的集成才是主力。**AutoGen** 在 v0.4 重写后同样把观测外包给 OTel 生态。

```python
# 典型的"原生追踪不够用"场景：你看得到 run，却看不到失败根因
from agents import Agent, Runner
agent = Agent(name="RefundBot", tools=[lookup_order, issue_refund, notify_user])
result = await Runner.run(agent, "把昨天的订单退了")
# OpenAI 面板能看到 3 次工具调用 + 1 次 LLM 调用
# 但回答不了：第 2 步 issue_refund 为何返回 4xx？这轮烧了多少 token？
# 哪个用户/会话贡献了今天的成本尖峰？换 prompt 后回归了吗？
```

陷阱的本质是：原生追踪把"观测"窄化为"日志回放"，而生产智能体要的是"工程化闭环"——在线评估、离线回归数据集、prompt 版本管理、按用户切片的成本看板。这几样，框架原生层一概不给。所以**第一个工程决策不是选哪个框架，而是把观测层从框架里剥离出来**。

## 三、OpenTelemetry 统一层：唯一的逃生舱

真正把七条后端拉到同一张桌子上的是 **OpenTelemetry（OTel）**。它不是产品，是 CNCF 下的开放标准，定义了 spans/traces/attributes/context-propagation，以及 GenAI 语义约定（`gen_ai.*`、`llm.token.usage.total` 这类标准键）。一旦你的埋点走 OTel，**后端就是可热插拔的**：把 `OTEL_EXPORTER_OTLP_ENDPOINT` 从 Langfuse 的 `/api/public/otel` 换成 Phoenix 的 collector，或换成 Datadog 的 intake，业务代码一行不改。这是整个 2026 可观测选型里最重要的一个事实。

实践上最省力的组合是 **OpenAI Agents + Pydantic Logfire 做埋点 + Langfuse 做后端**。Logfire 自称 "opinionated wrapper around OpenTelemetry"——它不另造标准，而是把 OTel 那套繁琐的 boilerplate 封装成几行调用，10 分钟内能出数据。关键技巧是 `send_to_logfire=False`：让 Logfire SDK 不要把数据发回自家闭源平台，而是老老实实服从你设的 `OTEL_*` 环境变量，把 OTLP 流交给 Langfuse。

```python
import logfire, os, base64
# 用 Langfuse 的密钥构造 OTLP 所需的 Basic Auth 头
auth = base64.b64encode(
    f"{os.environ['LANGFUSE_PUBLIC_KEY']}:{os.environ['LANGFUSE_SECRET_KEY']}"
    .encode()).decode()
os.environ["OTEL_EXPORTER_OTLP_ENDPOINT"] = os.environ["LANGFUSE_HOST"] + "/api/public/otel"
os.environ["OTEL_EXPORTER_OTLP_HEADERS"] = f"Authorization=Basic+{auth}"

logfire.configure(service_name="refund-svc", send_to_logfire=False)  # 关键：别发回 Logfire
logfire.instrument_openai_agents()  # 自动 patch SDK，按 GenAI 语义约定产 span
```

这条 OTel 管线的战略价值在于**对抗供应商迭代**：2026 年 1 月 ClickHouse 吞了 Langfuse、Helicone 进维护模式，可观测后端层正在剧烈洗牌。如果你的埋点绑死在某个闭源 SDK 上，供应商被收购或停更你就要重写埋点；而 OTel 埋点一次写好，五年内换三个后端都不动业务代码。**把 OTel 当成一笔保险费来交**，这是本轮最硬的一条工程红线。变现上，"OTel 化改造"是一个极好的训练营模块——大量团队带着裸 LLM 调用上生产，付费意愿强。

## 四、Langfuse：MIT 骨架 + ClickHouse 肌肉

Langfuse 是当前开源可观测后端里最完整的一个，四根支柱：观测追踪（嵌套 span + 智能体图可视化）、指标分析（成本/延迟/质量按 user_id/session_id/tag 切片）、prompt 管理（UI 版本化 + Playground + 与生产 trace 双向链接）、评估（用户反馈 + 人工标注 + 自定义分数 + LLM-as-a-Judge）。它的杀手锏是**工程化闭环**：在一条 trace 里发现问题 → 把这次交互原样拉进 Playground 改 prompt → 存为新版本 → 跑回归数据集验证 → 打标签上线，全程不出平台。这把传统 APM 的"发现问题再去 IDE 改"压缩成一个内循环，直接砍掉 MTTR。

2026 年 1 月 16 日是个分水岭：**ClickHouse 完成 4 亿美元 D 轮（Dragoneer 领投，估值 150 亿美元）并收购 Langfuse**，作为其进入 LLM 可观测市场的桥头堡。关键信号是 MIT 协议被完整保留、未加任何功能门控——这对自托管用户是定心丸。Langfuse 本身是数据密集型产品，靠 ClickHouse 的列存引擎做底，长期稳定性和查询性能都有靠山。GitHub 星标过 2 万、SDK 月装 2600 万、财富 50 强里有 19 家在用。自托管免费但要自己扛 ClickHouse+Redis+S3 三件套；云版本 Hobby 免费 50K 事件/月，Core 29 美元/月起。变现上 Langfuse 是训练营最友好的标的——开源免费可本地跑、评估和 prompt 管理是天然的教学场景。

## 五、LangSmith：体验最顺，锁定最深

LangSmith 的体验是无脑顺：你用 LangChain/LangGraph，30 分钟接上，零配置出端到端 trace、prompt/工具捕获、步进调试、token/延迟/成本指标，还有 dataset 管理和 prompt 版本化。企业版新加了 **Fleet**——给智能体做身份、权限、甚至专属 Slack 身份的生命周期管理，还带成对标注队列和统一成本追踪。最近出的 `LangSmith Fetch CLI` 能把 trace 拉进终端/IDE，对开发者体验是加分项。

但代价是**结构性锁定**。LangSmith 闭源、SaaS 为主（虽有混合和企业自托管，但门槛高），且定价按 trace 计费：基础 trace 2.5 美元/千条（14 天留存），扩展 trace 5 美元/千条（400 天留存），免费额度只有 5K traces/月、单座。**对比 Braintrust 的 1M spans 免费，LangSmith 免费额度小了近 200 倍**——一个中等流量的智能体上线两周就能把免费额度打穿，按 trace 计费会让账单随复杂度指数级膨胀（多步智能体每轮产多条 span/trace）。结论很直接：**全栈 LangChain 团队选 LangSmith 是最快路径，但只要你计划未来混入非 LangChain 组件，或者要自托管数据合规，现在就该用 OTel 外接 Langfuse/Phoenix，别让原生集成成为沉没成本**。这条锁定税，是横评里最贵的一笔。

## 六、Pydantic Logfire：全栈观测 + 最慷慨的免费额度

Logfire 的定位很特别——它**不只追 LLM 调用，而是追整个应用栈**：HTTP 请求、数据库查询、LLM 调用在一条 trace 里，因为它 OpenTelemetry-native。对 Python 团队尤其友好，因为它和 Pydantic 模型深度集成，能看清数据校验过程；自动埋点覆盖 FastAPI/Django/SQLAlchemy，一行 `logfire.instrument_<package>()` 搞定，`min_duration` 参数还能只追超阈值的函数以压开销。开发者反馈常是"10 分钟出数据"。

定价上 Logfire 是横评里**免费额度最慷慨的**：个人版 10M spans/月免费（30 天留存，单座），Team 49 美元/月含 5 座，Growth 249 美元不限座。溢出按 2 美元/百万条计。平台本身闭源，但因为 OTel-native，数据可导出到任意自托管后端，锁定风险被标准稀释。**短板是 LLM 专精的评估工具不如 Braintrust/Phoenix**——它强在全栈监控，弱在 LLM-as-a-Judge、回归数据集这类质量评估。对"智能体是整个后端的一部分"的团队（比如 LLM 只是推荐链路一环），Logfire 是最优解；对"纯 LLM 产品"团队，Logfire 做埋点、Langfuse 做评估的混搭更合理。变现上 Logfire 几乎是为 Python AI 开发训练营量身定的——Pydantic 用户基数大、上手快、免费额度撑得起整个教学周期。

## 七、Braintrust：评估优先，1M 免费撑门面

Braintrust 拿了 8000 万美元 B 轮、8 亿美元估值（ICONIQ 领投，a16z、Greylock 跟投），客户名单是 Notion、Stripe、Vercel、Airtable、Zapier、Cloudflare 这一档——这是"评估平台"赛道最扎实的背书。它的核心不是监控而是**评估**：dataset 评估、prompt/model A/B、自动数据集生成、Brainstore 专用库，以及最近主推的 **Loop AI 智能体**——能对生产数据做自然语言查询并自动调优 prompt。原生 SDK 支持 13+ 框架（含 OpenAI Agents SDK、Google ADK、Pydantic AI、Mastra）。

定价是它最锋利的获客武器：**免费层 1M spans + 10K scores，是评估向平台里最慷慨的**；Pro 249 美元/月不限 spans/scores。短板很明确——**它偏评估，实时运维监控相对弱**，不如专门的观测平台。所以典型用法是 Braintrust 管质量评估/回归，另配一个 Langfuse/Phoenix 管在线 trace。变现路径上，Braintrust 适合"评估咨询"型变现——帮企业搭回归数据集、设计 LLM-as-a-Judge 评分标准，这是高客单价的服务。注意它的免费 1M spans 是评估场景的 span 口径，和 Logfire 的全栈 span 口径不完全可比，但量级震撼足够。

## 八、Phoenix、AgentOps 与企业级：长尾与天价

**Arize Phoenix** 是开源 ML 可观测里评估专精的代表：分布式追踪（OTel）、幻觉检测、相关性打分、多步智能体轨迹分析、漂移检测，覆盖 50+ LLM 和框架。最大卖点是**自托管无上限免费**——单个 Docker 容器 2–4 小时起，对要数据主权、要控制成本的团队是近乎免费的生产方案。企业升 Arize AX 有合规（SOC2/HIPAA）。短板是运维自扛、OTel 有学习曲线、对运维指标关注少于对 ML 指标。

**AgentOps** 走的是另一条小而美的路：学术出身（arXiv 2411.05285 提出了智能体观测的完整 taxonomy，把 artifact 分成 trace/session/evaluation 几层），主打**时间旅行调试 + 多智能体会话回放**，原生集成 OpenAI Agents SDK（Py/TS）、CrewAI、AutoGen、LangGraph。短板是仅 Python、仅云、生态小（pre-seed 260 万美元融资，远小于 Braintrust 的 8000 万），评估功能有限。**Datadog LLM Observability** 是企业级天花板：把 LLM 监控塞进现有 APM 一张图，强合规、强关联基础设施指标，但企业按 span 计费、云独占、对初创是杀鸡用牛刀（年费动辄 5 万美元起）。

这三者构成横评的长尾：**Phoenix 守"自托管零成本"底线，AgentOps 守"调试深度"小众，Datadog 守"企业合规"天价**。绝大多数团队用不到 Datadog；想要数据主权选 Phoenix；想要最强评估选 Braintrust；想要最平衡的开源工程化平台选 Langfuse。

## 九、智能体可观测统一管线（架构图）

```mermaid
flowchart LR
    subgraph FW["框架执行层（原生追踪=Demo）"]
        OA["OpenAI Agents SDK<br/>自带基础 Tracing"]
        LG["LangGraph<br/>原生绑 LangSmith"]
        CA["CrewAI / AutoGen<br/>薄观测"]
    end

    subgraph INS["埋点层（OTel 统一）"]
        LF["Logfire<br/>instrument_openai_agents<br/>send_to_logfire=False"]
        OT["原生 OTel SDK<br/>OpenLLMetry"]
    end

    subgraph WIRE["传输层（开放标准）"]
        OTLP["OTLP / HTTP / gRPC<br/>gen_ai.* 语义约定"]
    end

    subgraph BE["后端层（可热插拔）"]
        LFU["Langfuse<br/>MIT/ClickHouse"]
        LS["LangSmith<br/>闭源锁定"]
        PHX["Phoenix<br/>自托管免费"]
        LF2["Pydantic Logfire<br/>10M spans 免费"]
        BT["Braintrust<br/>1M spans 评估优先"]
        DD["Datadog<br/>企业天价"]
    end

    subgraph UI["工程化闭环"]
        TR["Trace 归因"]
        PM["Prompt 版本+Playground"]
        DS["回归 Dataset"]
        EV["LLM-as-a-Judge 评估"]
    end

    FW --> INS
    INS --> OTLP
    OTLP --> BE
    BE --> UI
```

图里最关键的一条边是 **OTLP 到后端层是多对多**：同一个埋点流，改一个环境变量就能换后端。这正是"逃生舱"的可视化——左边的框架和埋点写一次，右边的后端随时换，中间 OTLP 是不可妥协的标准。

## 十、推荐方案：按场景定盘

**纯 LLM 产品 / 开源优先 / 要数据主权** → Langfuse（自托管）+ Logfire 埋点。MIT 免费自扛，评估闭环最完整，被 ClickHouse 收购后长期有靠。预算 0 起步，扩容到 Core 29 美元/月。

**全栈 LangChain/LangGraph 团队** → LangSmith 原生集成，30 分钟上线。但要清醒：一旦计划混入非 LangChain 组件，立即用 OTel 平移到 Langfuse，别让原生集成变沉没成本。

**Python 全栈后端（LLM 只是链路一环）** → Pydantic Logfire。10M spans/月免费，HTTP/DB/LLM 一条 trace，Pydantic 用户无缝。

**评估优先 / 要系统化质量回归** → Braintrust（1M spans 免费）做评估 + Langfuse 或 Phoenix 做在线 trace。这套组合是质量工程的标配。

**预算 0、要无上限、团队能扛 Docker** → Arize Phoenix 自托管。生产可用，评估专精，唯一代价是运维。

**企业合规 / 已用 Datadog** → Datadog LLM Observability。一张图关联基础设施，但年费 5 万美元起，初创慎入。

**横切红线**：无论选哪个后端，**埋点必须走 OTel**。2026 年可观测后端层正在洗牌（Langfuse 被收、Helicone 停更），只有 OTel 埋点能让你在供应商迭代中零成本迁移。这一条优先级高于一切——先 OTel 化，再选后端。

---

## 参考来源

1. [9 AI Observability Platforms Compared: Phoenix, LangSmith, Langfuse, Logfire, and More — Softcery](https://softcery.com/lab/top-8-observability-platforms-for-ai-agents-in-2025) — 九大可观测后端定价、免费额度、接入方式、决策框架的横评基础
2. [A Strategic Analysis of the OpenAI Agents, Logfire, and Langfuse Observability Stack — ThinhDA](https://thinhdanggroup.github.io/agent-observability/) — OpenAI Agents 原生追踪定位、OTel 统一管线、Logfire send_to_logfire=False 技巧的深度拆解
3. [ClickHouse welcomes Langfuse: The future of open-source LLM observability — ClickHouse](https://clickhouse.com/blog/clickhouse-acquires-langfuse-open-source-llm-observability) — 2026 年 1 月 16 日 ClickHouse 4 亿美元 D 轮、150 亿美元估值收购 Langfuse、MIT 协议保留的官方确认
4. [AgentOps: Enabling Observability of LLM Agents — arXiv 2411.05285](https://arxiv.org/abs/2411.05285) — 智能体可观测 artifact 分类法（trace/session/evaluation）的学术来源
5. [Trace the OpenAI Agents SDK with Langfuse — Langfuse 官方集成文档](https://langfuse.com/integrations/frameworks/openai-agents) — OpenAI Agents SDK 经 OTel 接入 Langfuse 的官方接线说明

> [!tip] 51学通信知识星球
> **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。
> **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。
> **当前规模**：5200 篇主题 / 990 个回答，198 元/年。
> **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。
> **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

![51学通信知识星球海报-扫码加入](https://wiki.500nian.com/images/zhixingqiu_qrcode.png)