## 本周概述 当一家公司的 LLM 月账单冲到 4.7 万美元却无人能解释钱花在哪——八个服务分别调用五个不同的模型供应商，没有任何集中归因——这就是 AI 网关（AI Gateway）存在的理由。本周聚焦一个此前未被深入拆解的基础设施层：**开源 AI 网关与 LLM 路由/可观测栈**。这一层正在替代三笔高昂的年费：Portkey Pro（$588/年起步，企业版 $30K+/年）、Langfuse 云版（Pro $2,388/年，Enterprise $30K+/年）、以及 OpenRouter 的 5% token 加价。2026 年 1 月 ClickHouse 以 150 亿美元估值收购 Langfuse 的消息，更让这条赛道从"小工具"升级为"数据库级基础设施"。本文拆解 7 个可自建、可变现的开源项目，覆盖从一行代码上手的轻量代理到 CNCF 原生的企业级流量治理，并给出训练营与付费产品的落地路径。 ## 筛选标准 | 维度 | 权重 | 说明 | |------|------|------| | 变现潜力 | 40% | 能否包装成"AI API 中台/质量保障 SaaS"？对标 Portkey、Langfuse 云的年费空间 | | 训练营适用性 | 25% | 2–4 小时能否教会学员部署一个能统一管理多家模型的网关 | | 技术新颖度 | 20% | 是否代表 LLM 基础设施前沿（语义缓存、智能路由、可观测 2.0） | | 维护活跃度 | 15% | 近一周是否有 commit、Issue 响应、是否有商业实体背书 | ## 逐个深度分析 ### 1. LiteLLM — 多供应商路由的事实标准 **[BerriAI/litellm](https://github.com/BerriAI/litellm)** ｜ ~45.9K Star ｜ MIT ｜ Python ｜ 持续更新 一句话：用一套 OpenAI 兼容 API，统一调用 100+ 家 LLM 供应商（OpenAI、Anthropic、Azure、AWS Bedrock、DeepSeek、Gemini、各类国产模型），内置负载均衡、故障转移（fallback）、成本追踪、限流、虚拟密钥与 RBAC。 - **上手难度**：⭐⭐（SDK 一行 `import litellm`；Proxy Server 写一份 YAML 即可） - **变现评估**：这是"AI API 中台"生意的地基。自建一套托管给中小企业，按企业版 Portkey 的对折收费（¥2–8 万/年）仍有巨大利润空间。Turion.ai 的实测数据显示，自建 LiteLLM 的生产运维成本约 $500–2,000/月，对比 Portkey Pro 的 $49/月 + 隐性供应商加价，对数据敏感的中大型客户极具说服力。可做：私有化部署咨询（单项目 ¥3–10 万）、面向中小团队的托管网关 SaaS（¥299/月起）、配套"多模型成本优化"专栏（¥299）。 - **训练营评估**：2 小时即可教会。Docker 部署 → 配置 3 家 provider 路由 → 打开成本看板。学员带走一个能统一管理公司全部 AI 密钥、自动故障转移的网关，立即可用于简历与业务。 - **差异化**：MIT 开源、零 token 加价（OpenRouter 收 5%）、代码完全自持。Lock-in 风险最低——即便 BerriAI 消失，代码仍是你的。 ### 2. Langfuse — LLM 应用质量的可观测中枢 **[langfuse/langfuse](https://github.com/langfuse/langfuse)** ｜ ~26.6K Star ｜ MIT (core) ｜ TypeScript/Python ｜ 2026 年 1 月被 ClickHouse 收购 一句话：开源 LLM 工程平台，回答"我的生产 Agent 到底在干什么、质量好不好"——分层 tracing、三种评测（LLM-as-judge / 启发式规则 / 人工标注）、Prompt 版本注册中心、数据集与实验对比、原生 MCP Server。PyPI 日下载约 79.6 万次。 - **上手难度**：⭐⭐⭐（概念较多；自托管需 PostgreSQL + ClickHouse + Redis 三件套） - **变现评估**：直接对标 Langfuse 云（Core $29/月、Pro $199/月、Enterprise $2,499+/月）与闭源的 LangSmith。私有化部署一套给做 AI 应用的企业，年费 ¥2–10 万。ClickHouse 收购后引入双存储架构（结构化元数据 + 时序遥测），背书从"创业公司"升级为"150 亿美元数据库巨头"，企业客户的合规审批阻力大幅降低——这本身就是销售话术。 - **训练营评估**：4 小时。tracing 接入 → 配置一个 LLM-as-judge 评测 → Prompt 版本 A/B 实验。学员产出：给一个真实 AI 应用装上"质量监控仪表盘"，能定位哪一步 Prompt 退化、哪一次回答超预算。 - **差异化**：全栈覆盖（trace→eval→prompt→experiment）比任何开源竞品都连贯；vs Arize Phoenix 功能更全，vs Helicone 范围更广，vs Logfire 的 LLM 专属特性更深。 ### 3. Helicone — 一行代码的成本监控 **[Helicone/helicone](https://github.com/Helicone/helicone)** ｜ Apache 2.0 ｜ YC W23 ｜ TypeScript 一句话：把 LLM 调用的 base_url 改一行，立刻获得请求日志、成本统计、限流、错误追踪与基础路由——所有团队里"只想知道 token 花在哪"的人的零门槛起点。 - **上手难度**：⭐⭐（改一行 base_url，无侵入） - **变现评估**：定位轻量，对标自家云版。适合做面向个人开发者与小团队的"AI 开销看板"工具，¥99/年的订阅或 ¥299 的一次性部署服务。作为完整栈的"引流款"产品极佳。 - **训练营评估**：1–2 小时，零基础学员也能上手。学员产出：一个能看到每次调用花了多少钱、被谁调用的监控面板。 - **差异化**：极简哲学。不追求 Langfuse 的全栈，只把"成本透明"这件事做到一行代码。适合作为 Langfuse 训练营的前置入门。 ### 4. One API — 国产大模型聚合的事实标准 **[songquanpeng/one-api](https://github.com/songquanpeng/one-api)** ｜ MIT ｜ Go（单二进制）｜ 中国 AI 社区事实标准 一句话：LLM API 管理与密钥分发系统，统一 OpenAI、Azure、Claude、Gemini、DeepSeek、字节豆包、ChatGLM、文心一言、讯飞星火、通义千问等国内外模型，支持多租户、令牌配额、渠道负载均衡与按用户/团队计费。 - **上手难度**：⭐⭐（Go 单二进制 + Docker，开箱即用） - **变现评估**：国内场景的最佳变现标的。国内大量 API 中转 SaaS 本质就是它的包装（按量加价转售）。可做"国产大模型 API 聚合中台"，卖给需要同时对接十几家国产模型、又想做内部计费的企业，年费 ¥3–15 万。也可以做面向开发者的 API 聚合转售平台（合规前提下）。 - **训练营评估**：2 小时。单二进制部署 → 配置 10+ 国产模型渠道 → 设置用户配额与计费规则。学员带走一个能聚合 20+ 国产模型、按团队限额计费的网关，直接对应"AI 中台工程师"岗位需求。 - **差异化**：国产模型覆盖最全、中文社区最活跃、单二进制运维最轻。vs LiteLLM——后者国际化更强但国产模型支持深度不及 One API。 ### 5. Bifrost — 追求极致性能的 Go 网关 **[maximhq/bifrost](https://github.com/maximhq/bifrost)** ｜ Apache 2.0 ｜ Go ｜ Maxim AI 出品 一句话：高性能 AI 网关，统一 23+ 供应商，官方标榜"比同类快 50 倍"，主打毫秒级路由开销、语义缓存与高可用故障转移，面向对延迟敏感的实时场景。 - **上手难度**：⭐⭐⭐（Go + K8s） - **变现评估**：面向金融交易、实时客服、高频对话等"延迟即收入"的场景。私有化部署单项目 ¥3–10 万。卖点不是功能多，而是"同样的流量，Bifrost 的额外延迟最低"。 - **训练营评估**：3 小时。Go 部署 + K8s 高可用 + 性能压测对比。学员产出：一个带语义缓存、P99 延迟可控的生产级网关，并能用压测数据证明性能优势。 - **差异化**：Go 实现的性能优势是相对 LiteLLM（Python）的核心壁垒。对吞吐量敏感的客户，这是唯一能拿出量化对比的选项。 ### 6. Envoy AI Gateway — CNCF 原生的企业级流量治理 **[envoyproxy/ai-gateway](https://github.com/envoyproxy/ai-gateway)** ｜ Apache 2.0 ｜ 基于 Envoy Gateway ｜ K8s 原生 一句话：把 CNCF 的 Envoy Gateway 扩展为 AI 网关，复用 Envoy 成熟的流量管理、可观测、mTLS 安全与策略能力来治理 LLM 流量，专为已在 Kubernetes / 服务网格中运行的大企业设计。 - **上手难度**：⭐⭐⭐⭐（需 Envoy + K8s 经验，门槛最高） - **变现评估**：面向大企业平台工程团队。可做"企业级 AI 流量治理"咨询与交付，单项目 ¥10–30 万。适合做 To-B 高客单、长周期的深水区生意。 - **训练营评估**：4 小时，门槛高但含金量足，适合进阶学员。学员产出：一个跑在 K8s、与现有 API 网关统一治理的 AI 流量入口。 - **差异化**：CNCF 生态原生、Envoy 级性能与可观测、不锁定单一供应商。vs Kong AI Gateway——Kong 的 AI 插件"仍不如专用 AI 网关成熟"，Envoy AI Gateway 的差异化在于与云原生基础设施的深度融合。 ### 7. Portkey Gateway 开源版 — 边界教学的最佳对比项 **[Portkey-AI/gateway](https://github.com/Portkey-AI/gateway)** ｜ MIT ｜ TypeScript 一句话：Portkey 商业版的开源子集，提供路由、缓存、重试/fallback、基础可观测与 guardrails（PII 检测、内容过滤）。 - **上手难度**：⭐⭐ - **变现评估**：商业价值不在直接卖它，而在于"开源 vs Pro 边界教学"——教用户什么场景开源够用、什么时候该付费升级。这是内容变现（专栏 ¥299）和咨询（帮企业评估是否需要上 Pro）的优质素材。 - **训练营评估**：2 小时，作为对比实验项。学员产出：理解 guardrails 与 prompt 管理的工程价值，并掌握"何时该买商业版"的判断框架。 - **差异化**：自带 guardrails 是相对 LiteLLM 的明显增量。适合作为训练营里"开源够用 vs 商业付费"决策训练的对照组。 ## 项目矩阵可视化 ```mermaid quadrantChart title 开源AI网关与可观测栈变现矩阵 x-axis "低变现潜力" --> "高变现潜力" y-axis "高门槛" --> "易上手(训练营适用)" quadrant-1 "教学明星" quadrant-2 "小众深耕" quadrant-3 "高门槛深水区" quadrant-4 "快速变现" "One API": [0.9, 0.8] "LiteLLM": [0.8, 0.78] "Langfuse": [0.85, 0.5] "Helicone": [0.6, 0.88] "Portkey OSS": [0.55, 0.72] "Bifrost": [0.6, 0.45] "Envoy AI Gateway": [0.65, 0.2] ``` ## 变现潜力 Top 5 排行榜 | 排名 | 项目 | 变现方向 | 预估定价 | |------|------|----------|----------| | 🥇 1 | One API | 国产大模型 API 聚合中台（私有化+计费） | ¥3–15 万/年/项目 | | 🥈 2 | Langfuse | LLM 质量保障私有化部署（ClickHouse 背书） | ¥2–10 万/年 | | 🥉 3 | LiteLLM | 企业 AI API 中台托管与成本优化 | ¥2–8 万/年 | | 4 | Bifrost | 高性能 AI 网关私有化（延迟敏感场景） | ¥3–10 万/项目 | | 5 | Helicone | 轻量 AI 成本监控 SaaS（引流款） | ¥99/年订阅 或 ¥299 部署 | ## 结论与延伸思考 AI 网关层的本质，是把"每家模型供应商各自为政的 API"收编成"企业内部统一治理的基础设施"。这条赛道的付费产品（Portkey、Langfuse 云、OpenRouter、Kong AI）年费从几百到几十万不等，而开源替代品在 2026 年已经"好到自建一个比自己写更省事"——turion.ai 的结论是"每个自己造网关的团队，最终都重写了 LiteLLM 80% 的功能，只是文档更差"。 变现路径有三条清晰的阶梯：**引流款**（Helicone 一行代码监控，¥99–299，拉新）→ **训练营**（One API / LiteLLM，2 小时出一个能用的网关，¥199–499，建信任）→ **高客单私有化**（Langfuse / Envoy AI Gateway，¥2–30 万，赚利润）。尤其值得关注的是两个信号：一是 ClickHouse 收购 Langfuse，把可观测栈从"创业玩具"抬升为"数据库基础设施"，企业合规审批阻力骤降；二是国产模型百花齐放背景下，One API 这类"国产模型聚合 + 内部计费"的中台需求，在国内市场几乎没有像样的商业对手。下一轮值得继续追踪的方向：AI 网关之上的"智能路由层"（按任务自动选最便宜够用的模型）与"Agent 流量治理"（A2A 协议下的多智能体限流与审计）。 ## 参考来源 1. [LiteLLM vs Portkey vs Kong: LLM Gateway Pricing — June 2026 (turion.ai)](https://turion.ai/blog/llm-gateway-pricing-comparison-june-2026/) — 三款主流网关的真实成本拆解，含自建运维隐性成本与三档规模对比 2. [Langfuse — The Open-Source LLM Observability Platform (ChatForest Review)](https://chatforest.com/reviews/langfuse-llm-observability-platform/) — Langfuse 全栈功能、ClickHouse 收购后的双存储架构与定价层级详评 3. [5 Best Open Source Portkey AI Gateway Alternatives in 2026 (OpenAlternative)](https://openalternative.co/alternatives/portkey-ai-gateway) — Portkey 开源替代品横评（LiteLLM、Bifrost、Envoy AI Gateway 等） 4. [ClickHouse welcomes Langfuse: The future of open-source LLM observability](https://clickhouse.com/blog/clickhouse-acquires-langfuse-open-source-llm-observability) — ClickHouse 收购 Langfuse 官方公告与开源承诺 5. [songquanpeng/one-api (GitHub)](https://github.com/songquanpeng/one-api) — 国产大模型 API 管理与密钥分发系统，中国 AI 社区事实标准 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。