国内教程都在教你「怎么把AI应用跑起来」，但很少有人说「跑起来之后怎么办」。这期讲一个实打实的信息差：海外AI应用团队上线前后人手一套的「调试三件套」——Langfuse、Helicone、PostHog。三个都有免费档、都有开源版，中文圈的正经教程却几乎为零。你调的每一次模型API、烧掉的每一分token、用户在页面里的每一次犹豫，这三件全都能看见。价格数据为写作时点公开资料，以官网实时页为准。 --- ## 一、Langfuse：给AI应用装「行车记录仪」 **官网**：[langfuse.com](https://langfuse.com) ｜ **GitHub**：[github.com/langfuse/langfuse](https://github.com/langfuse/langfuse) **它是什么**：开源的 LLM 可观测平台。你的应用每次调用模型，中间经过了几步检索、塞了什么上下文、模型吐了什么、花了多少钱，全部记录成一条可回放的 Trace（链路）。相当于给AI应用装了行车记录仪——出了事故，回放录像就知道是哪一脚没踩好。 **价格**：核心是 MIT 协议开源，自己 docker 部署完全免费；官方云服务有免费档，大约每月五万单位（一条日志或一条数据集记录算一个单位），个人项目基本用不完，超了再按月订阅。 **四个真香功能**： 1. **一行接入**：Python 里把 `import openai` 换成 `from langfuse.openai import openai`，之后所有调用自动上报，不用改业务代码。LangChain、LlamaIndex、LiteLLM、Vercel AI SDK 也都有现成钩子。 2. **Prompt 版本管理**：系统提示词当数据库记录管，带版本号、带 production/staging 标签，运行时拉取。改提示词不再靠改代码重新发版。 3. **评估与回归**：把出过事故的 case 存进数据集，每次改完提示词或换模型，跑一遍数据集看分数有没有掉——相当于给AI应用写了单元测试。 4. **成本台账**：每次调用的 token 自动按模型单价折算成钱，按用户、按功能分组看，月底不用对着 API 账单猜是谁烧的。 **国内对比**：Dify、Coze 这类编排平台自带基础运行日志，但只覆盖自己平台内的调用；你自研后端直连 DeepSeek/Qwen API 时，国内基本没有成熟的开源对应物——所以国内认真做产品的团队，很多其实在悄悄自部署 Langfuse，只是没人写教程。 **适用人群**：用 LangChain/Dify 自建应用的后端、要把AI功能接入生产系统的技术团队。 --- ## 二、Helicone：模型调用路上的「收费站+账房」 **官网**：[helicone.ai](https://helicone.ai) ｜ **GitHub**：[github.com/Helicone/helicone](https://github.com/Helicone/helicone) **它是什么**：开源的 LLM 网关。你的应用不直接调 OpenAI/Claude/DeepSeek，而是先过 Helicone 这一关：它帮你记账、缓存、限流、做密钥分发。Langfuse 侧重「看清楚每一步发生了什么」，Helicone 侧重「管住流量和钱」。 **价格**：开源版自部署免费；云服务免费档大约每月一万次请求，个人项目和小内测够用，往上走按月订阅。 **三个真香功能**： 1. **两行接入**：环境变量里把 `base_url` 指向 Helicone 网关地址、配上 API key，完事。不用装 SDK，任何语言、任何框架都能用。 2. **缓存省钱**：相同问题命中缓存直接返回，不重复烧 token。客服问答、文档检索这类高频重复场景，账单肉眼可见地降。 3. **虚拟密钥与限流**：给每个客户/每个功能发独立的虚拟 key，单独设限额。哪个客户异常调用烧穿了额度，只掐他一个，不影响别人——也防住恶意刷你接口的。 **国内对比**：国内开发者对 One API 很熟，它强在「渠道分发和令牌管理」；Helicone 的差异化在观测、缓存、限流、请求回放这一侧，两者定位不同，甚至可以叠着用。这个「网关还能当账房」的思路，国内讨论得非常少。 **适用人群**：直接调多家模型 API、想查清成本、想给多客户做配额隔离的独立开发者和SaaS团队。 --- ## 三、PostHog：一块顶五块的产品仪表盘 **官网**：[posthog.com](https://posthog.com) ｜ 文档：[posthog.com/docs](https://posthog.com/docs) **它是什么**：开源的全家桶式产品分析平台：产品分析、会话回放、功能开关、A/B 实验、问卷、错误追踪，甚至还有面向 LLM 应用的观测模块。前三件工具告诉你「AI 做了什么」，PostHog 告诉你「用户是什么反应」。 **价格**：这是它最炸的点——免费档不用绑卡，大约每月 100 万条事件、5000 次会话回放、100 万次实验曝光。对出海个人开发者来说，等于五款收费工具的免费额度打包送。 **三个真香功能**： 1. **会话回放**：像看监控录像一样看真实用户怎么操作你的产品——他在哪个输入框卡住、点了三次哪个没反应的按钮。AI 产品的问题常常不是模型不行，是交互不行。 2. **功能开关+实验**：新功能先对 5% 用户放开，看数据再全量；新旧两版提示词各分一半流量，A/B 跑出哪个转化高。发版从「赌」变成「测」。 3. **LLM 观测**：把模型调用的输入输出、成本和产品行为数据放在同一个屋檐下，能回答「用了新模型的用户留存是不是更好了」这种跨域问题。 **国内对比**：国内同类如神策、GrowingIO 私有化和收费门槛都不低，GA4 看不到会话回放，更没有 LLM 观测。做出海产品的技术人普遍还在用 GA4 裸奔，这块认知差非常明显。 **适用人群**：做出海 SaaS、AI 独立应用，想知道「用户到底在页面上干了什么」的开发者。 --- ## 三件怎么拼在一起 ```mermaid flowchart TD U["用户发来一条消息"] --> APP["你的LLM应用"] APP --> GW["Helicone网关"] GW -->|缓存命中直接回| APP GW --> MODEL["各家模型API"] APP -->|每一步上报Trace| LF["Langfuse"] APP -->|埋点与页面回放| PH["PostHog"] LF --> EV["评估与回归数据集"] PH --> AN["漏斗与用户反馈"] EV --> DEV["开发者"] AN --> DEV DEV -->|下一版| APP ``` 一句话分工：**Helicone 管钱和流量，Langfuse 管链路和质量，PostHog 管人和增长**。三者都有免费档，个人项目可以全白嫖。 ## 信息差总结 | 维度 | 你以为的 | 实际情况 | |---|---|---| | 调试方式 | 打 print 看日志 | Trace 逐层回放，Langfuse 一行接入 | | 成本控制 | 月底看账单吓一跳 | 网关缓存+虚拟key限额，实时台账 | | 改提示词 | 改代码重新发版 | 数据库存版本，跑回归数据集验证 | | 用户行为 | 埋 GA4 数 PV | 会话回放逐秒看，免费100万事件/月 | | 花钱 | 三件套很贵 | 全部有免费档，全部开源可自部署 | ## 行动指南 1. **今晚（30分钟）**：注册 Helicone 云免费档，把项目里模型调用的 `base_url` 改两行环境变量，明天就能看到第一份成本台账。 2. **本周末（半天）**：docker 自部署 Langfuse，Python 项目换一行 import，把最近一次线上事故的对话存成第一条回归数据集。 3. **下周（2小时）**：产品页面埋 PostHog，免费档不绑卡，先开「会话回放」看 10 个真实用户的操作录像——大概率比任何用户访谈都刺激。 ## 参考来源 1. Langfuse 官网与文档：[langfuse.com](https://langfuse.com) / [langfuse.com/docs](https://langfuse.com/docs) 2. Langfuse 开源仓库：[github.com/langfuse/langfuse](https://github.com/langfuse/langfuse) 3. Helicone 官网：[helicone.ai](https://helicone.ai) / 开源仓库：[github.com/Helicone/helicone](https://github.com/Helicone/helicone) 4. PostHog 官网与文档：[posthog.com](https://posthog.com) / [posthog.com/docs](https://posthog.com/docs) --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。