首页 › cost-hacks › 盯AI比跑AI贵八倍:观测影子税

盯AI比跑AI贵八倍:没人防的"观测影子税"

你盯着账单砍 token、关 thinking、开缓存,把推理费压到地板——然后发现另一张账单悄悄比它大了好几倍。那张账单叫可观测性(observability):LangSmith、Langfuse、Helicone、Arize 这些平台,把你每一次 LLM 调用、每一个 tool step、每一段 prompt 都记成 trace 存起来。你以为它们是"免费送的分析面板",其实它们按"事件"收费,而一个 agent 请求能产生几十上百个事件。本文给你算清这笔账,并给出五把立刻能砍掉它的刀。

一、先看一笔会让你坐直的算术

很多人优化成本只盯着模型推理那一行。我们用 2026 年还在大量使用的便宜模型做个基线:GPT‑4o‑mini 输出价约 $0.60 / 百万 token。一次普通对话回复平均 500 output token,推理成本是:

500 ÷ 1,000,000 × $0.60 = $0.0003 / 次

现在看观测那一行。我直接抓了 Langfuse 的官方定价页(已被 ClickHouse 收购,2026 年现行价):Core 套餐 $29/月含 10 万 unit,超出后 $8 / 10 万 unit。Langfuse 的一个 unit ≈ 一条 observation,也就是 trace 里的一次 span/事件——一次模型调用算 1 条,一次 tool call 算 1 条,RAG 检索、子任务、评估打分都各算 1 条。

一个稍微像样的 agent 请求(1 次主调用 + RAG 检索 + 2 次 tool call + 若干子 span),轻松产生 30 条 observation。这笔观测成本是:

30 × ($8 ÷ 100,000) = $0.0024 / 次

观测费 $0.0024,推理费 $0.0003——观测是推理的 8 倍。 你越用便宜模型、越把 agent 做复杂,这个倍数越大。用 Haiku 4.5($1/$5)跑同样流程,倍数会小一点;但你一旦上了 4o‑mini、Gemini Flash、GLM‑Flash 这一档"白菜模型","看 AI"的钱就比"跑 AI"贵一个数量级。

放大到 100 万次请求/月:推理 $300,观测 $2,400。老板盯着的"AI 成本"其实有 88% 花在了侧边这根管道上。

二、三家主流平台的定价拆解(一手数据)

我把 Helicone 和 Langfuse 的官方定价页都抓了下来,对照如下。注意一个关键事实:这俩都开源、都支持自托管——这是后文砍价的本钱。

平台 免费档 付费起步 超量单价 自托管 计费粒度
Langfuse 5 万 unit/月,30 天留存 Core $29/月(10 万 unit,90 天) $8 / 10 万 unit(量大递减) ✅ Docker / K8s / Terraform 全支持 observation(事件级)
Langfuse Pro — $199/月(3 年留存) 同上 ✅ + 高吞吐、标注队列
Helicone 1 万请求/月,1GB 存储 Pro $79/月 按请求+存储用量 ✅ 开源 request(请求级,但 trace 内多 span 另算)
Helicone Team — $799/月 用量制 ✅ + SOC2/HIPAA
LangSmith / Arize 少量免费 trace $39–$99 起 按 trace/事件 ❌(闭源为主) trace 或事件

数据来源:Langfuse 定价页(langfuse.com/pricing,现显示 GitHub 30.4k star、被 ClickHouse 收购)、Helicone 定价页(helicone.ai/pricing,显示已并入 Mintlify)。

几个被 90% 用户忽略的细节:

三、为什么 agent 让影子税指数级爆炸

传统一次 API 调用 = 1 条 trace = 1 个 unit,观测费可忽略。但 2026 年大家都跑 agent:一个用户请求在内部会触发"思考→检索→调工具→再思考→再调工具→汇总",每一步都被 SDK 自动埋点成 span。trace 的深度,就是观测成本的乘数。

xychart-beta
    title "单请求成本:推理费 vs 观测费(Langfuse $8/10万unit)"
    x-axis "单次请求产生的 observation 数" [5, 10, 20, 30, 50, 80]
    y-axis "美元 / 每次请求" 0 --> 0.012
    line "推理费(4o-mini,500out,恒定)" [0.0003, 0.0003, 0.0003, 0.0003, 0.0003, 0.0003]
    line "观测费(随span线性增长)" [0.0004, 0.0008, 0.0016, 0.0024, 0.0040, 0.0064]

看这张图的两个关键点:

  1. 交叉点在 ~6 条 observation——只要你的请求比"纯问答"复杂一点点,观测就开始反超推理。
  2. 到 80 条 observation(一个真正的多步 agent),观测是推理的 21 倍。Agent 越智能、step 越多,你给可观测性平台交的"过路费"就越离谱。

这还没算第二个隐性乘数:输出回流税。Agent 每一步的输出会被当作下一步的输入再算一遍上下文,而 trace 又把这每一步的 input/output 全量明文记下来存进数据库。模型公司在 input 侧收一遍钱,观测平台在存储侧再收一遍——同一个 token,被收两次"保管费"。

四、五把刀:把观测影子税砍到接近零

好消息是:观测费是所有 AI 成本里最容易砍的一类,因为它本质是"日志",不是"算力"。下面五把刀,按性价比排序。

刀一:自托管 Langfuse,单价直接归零(最高优先级)

Langfuse 开源(Apache 2.0),官方提供 Docker Compose 一条命令起服。页面明确写着"Self Hosting Guides: Docker Compose / Kubernetes (Helm) / AWS Terraform / GCP Terraform / Azure Terraform"。一台 4 核 8G 的云主机(约 $20–40/月)就能扛住中小团队全量 trace,单价从 $8/10万unit 变成 $0。

算账:你若每月产生 5000 万 unit(≈ 百万级 agent 请求),托管版要 $4,000/月;自托管一台机器 $40/月,省 99%。这正是 Langfuse 被 ClickHouse 收购的底气——底层就是 ClickHouse,自己跑毫无技术障碍。

适用人群:有运维能力、月 trace 量过千万 unit 的团队。一台机器回本。

刀二:采样(Sampling)——别把每条 trace 都存下来

绝大多数调试场景,你不需要 100% 的 trace。生产环境开 head‑based 采样(按比例,比如只存 10%)+ tail‑based 采样(只保留出错、超时、低分的 trace),能把存储量直接砍 80–90%。Langfuse / Helicone 的 SDK 都支持采样配置;OpenTelemetry Collector 更是原生支持 tail sampling processor。

注意:错误 trace 必须 100% 留(tail sampling 会兜住 error span),正常的丢掉无所谓。这是"丢信息但不丢信号"。

刀三:关掉 input/output 全量明文存储

这是最被忽视的一刀。默认情况下,观测平台会把每条 trace 的完整 prompt 和完整输出存进数据库——这正好是最贵的部分(长文本 = 多 storage),还涉及数据合规(PII、密钥)。

在 Langfuse 的 SDK 里把 mask / remove PII 打开,把超长 output 截断到前 200 token,把 tool 的原始返回只存摘要。存储体积通常能降 60–70%,Helicone 那条 storage 用量线直接塌下去一半。顺带解决了"agent 偷偷把 API key 记进 trace"的安全隐患——一箭双雕。

刀四:冷热分流,生产环境别用 trace 平台当日志

很多人图省事,把 trace 平台当唯一日志系统用。正确的姿势是分层:

Langfuse Pro 卖 3 年留存就是赌你"懒得导"。你只要写个定时任务把 30 天前的 trace 导到对象存储,就不再需要为留存付溢价。

刀五:用 OpenTelemetry Collector 自己聚合,按"事件类型"分桶计费

更进阶:在应用和观测平台之间塞一个 OTel Collector,自己做聚合——把"模型调用"和"内部细碎 span"分两个 export 管道。真正贵的 span(模型 input/output)走付费平台精存,便宜的内部 span(函数进入退出)走自建 ClickHouse 或直接丢。这样付费 unit 数只统计"高价值事件",计费基数能压到原来的 1/5。

五、信息差对照表

维度 你以为的 实际(信息差)
AI 最大成本项 模型推理 token 费 用便宜模型+agent 时,可观测性 trace 费是推理的 8–21 倍
Langfuse "5万unit免费" 够我用很久 unit 是事件不是请求,agent 一次会话吃几十个,免费额度一周见底
留存时间 默认给的,免费 30 天→3 年是$29→$199/月的差价,赌你舍不得删
trace 存储内容 必须全量明文存 默认存了完整 prompt+output,既贵又泄密,可截断/脱敏降 60%
自托管 太麻烦 Langfuse/Helicone 都开源,Docker 一条命令,单价归零
采样 会丢信息 tail sampling 只丢正常 trace、保住 error,砍 90% 量零损失信号

六、行动指南(下周就能做)

  1. 今天:打开你的 LangSmith/Langfuse/Helicone 后台,导出最近 7 天的 unit/storage 用量,对照定价算一笔"观测费 vs 推理费"的比值。大概率你会被吓到。
  2. 本周:把 trace 的 input/output 明文存储改成"截断 + PII 脱敏",存储线立刻下降。
  3. 本周:生产环境接 OTel Collector,开 head 10% + tail(保留 error)采样。
  4. 本月:评估自托管 Langfuse(Docker Compose 起 ClickHouse + Langfuse)。月 unit 超过 500 万就值得,超 5000 万必做。
  5. 长期:建立冷热分流——热路径走采样后的观测平台,冷路径 30 天后导对象存储,彻底摆脱"留存溢价"。

记住一句话:在白菜模型时代,"看 AI 跑"比"让 AI 跑"贵得多。会砍观测税的人,才真正拿到了 agent 时代的成本护城河。


参考来源: - Langfuse 官方定价页(现 ClickHouse 旗下,含 unit 单价与自托管说明) - Helicone 官方定价页(Pro $79 / Team $799,开源可自托管) - Langfuse 自托管指南(Docker / K8s / Terraform) - OpenTelemetry Collector tail sampling processor 文档 - Anthropic / OpenAI 模型定价基线对比


本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入