当一家公司的 LLM 月账单冲到 4.7 万美元却无人能解释钱花在哪——八个服务分别调用五个不同的模型供应商，没有任何集中归因——这就是 AI 网关（AI Gateway）存在的理由。本周聚焦一个此前未被深入拆解的基础设施层：开源 AI 网关与 LLM 路由/可观测栈。这一层正在替代三笔高昂的年费：Portkey Pro（$588/年起步，企业版 $30K+/年）、Langfuse 云版（Pro $2,388/年，Enterprise $30K+/年）、以及 OpenRouter 的 5% token 加价。2026 年 1 月 ClickHouse 以 150 亿美元估值收购 Langfuse 的消息，更让这条赛道从"小工具"升级为"数据库级基础设施"。本文拆解 7 个可自建、可变现的开源项目，覆盖从一行代码上手的轻量代理到 CNCF 原生的企业级流量治理，并给出训练营与付费产品的落地路径。
| 维度 | 权重 | 说明 |
|---|---|---|
| 变现潜力 | 40% | 能否包装成"AI API 中台/质量保障 SaaS"？对标 Portkey、Langfuse 云的年费空间 |
| 训练营适用性 | 25% | 2–4 小时能否教会学员部署一个能统一管理多家模型的网关 |
| 技术新颖度 | 20% | 是否代表 LLM 基础设施前沿（语义缓存、智能路由、可观测 2.0） |
| 维护活跃度 | 15% | 近一周是否有 commit、Issue 响应、是否有商业实体背书 |
BerriAI/litellm ｜ ~45.9K Star ｜ MIT ｜ Python ｜ 持续更新
一句话：用一套 OpenAI 兼容 API，统一调用 100+ 家 LLM 供应商（OpenAI、Anthropic、Azure、AWS Bedrock、DeepSeek、Gemini、各类国产模型），内置负载均衡、故障转移（fallback）、成本追踪、限流、虚拟密钥与 RBAC。
import litellm；Proxy Server 写一份 YAML 即可）langfuse/langfuse ｜ ~26.6K Star ｜ MIT (core) ｜ TypeScript/Python ｜ 2026 年 1 月被 ClickHouse 收购
一句话：开源 LLM 工程平台，回答"我的生产 Agent 到底在干什么、质量好不好"——分层 tracing、三种评测（LLM-as-judge / 启发式规则 / 人工标注）、Prompt 版本注册中心、数据集与实验对比、原生 MCP Server。PyPI 日下载约 79.6 万次。
Helicone/helicone ｜ Apache 2.0 ｜ YC W23 ｜ TypeScript
一句话：把 LLM 调用的 base_url 改一行，立刻获得请求日志、成本统计、限流、错误追踪与基础路由——所有团队里"只想知道 token 花在哪"的人的零门槛起点。
songquanpeng/one-api ｜ MIT ｜ Go（单二进制）｜ 中国 AI 社区事实标准
一句话：LLM API 管理与密钥分发系统，统一 OpenAI、Azure、Claude、Gemini、DeepSeek、字节豆包、ChatGLM、文心一言、讯飞星火、通义千问等国内外模型，支持多租户、令牌配额、渠道负载均衡与按用户/团队计费。
maximhq/bifrost ｜ Apache 2.0 ｜ Go ｜ Maxim AI 出品
一句话：高性能 AI 网关，统一 23+ 供应商，官方标榜"比同类快 50 倍"，主打毫秒级路由开销、语义缓存与高可用故障转移，面向对延迟敏感的实时场景。
envoyproxy/ai-gateway ｜ Apache 2.0 ｜ 基于 Envoy Gateway ｜ K8s 原生
一句话：把 CNCF 的 Envoy Gateway 扩展为 AI 网关，复用 Envoy 成熟的流量管理、可观测、mTLS 安全与策略能力来治理 LLM 流量，专为已在 Kubernetes / 服务网格中运行的大企业设计。
Portkey-AI/gateway ｜ MIT ｜ TypeScript
一句话：Portkey 商业版的开源子集，提供路由、缓存、重试/fallback、基础可观测与 guardrails（PII 检测、内容过滤）。
quadrantChart
title 开源AI网关与可观测栈变现矩阵
x-axis "低变现潜力" --> "高变现潜力"
y-axis "高门槛" --> "易上手(训练营适用)"
quadrant-1 "教学明星"
quadrant-2 "小众深耕"
quadrant-3 "高门槛深水区"
quadrant-4 "快速变现"
"One API": [0.9, 0.8]
"LiteLLM": [0.8, 0.78]
"Langfuse": [0.85, 0.5]
"Helicone": [0.6, 0.88]
"Portkey OSS": [0.55, 0.72]
"Bifrost": [0.6, 0.45]
"Envoy AI Gateway": [0.65, 0.2]
| 排名 | 项目 | 变现方向 | 预估定价 |
|---|---|---|---|
| 🥇 1 | One API | 国产大模型 API 聚合中台（私有化+计费） | ¥3–15 万/年/项目 |
| 🥈 2 | Langfuse | LLM 质量保障私有化部署（ClickHouse 背书） | ¥2–10 万/年 |
| 🥉 3 | LiteLLM | 企业 AI API 中台托管与成本优化 | ¥2–8 万/年 |
| 4 | Bifrost | 高性能 AI 网关私有化（延迟敏感场景） | ¥3–10 万/项目 |
| 5 | Helicone | 轻量 AI 成本监控 SaaS（引流款） | ¥99/年订阅 或 ¥299 部署 |
AI 网关层的本质，是把"每家模型供应商各自为政的 API"收编成"企业内部统一治理的基础设施"。这条赛道的付费产品（Portkey、Langfuse 云、OpenRouter、Kong AI）年费从几百到几十万不等，而开源替代品在 2026 年已经"好到自建一个比自己写更省事"——turion.ai 的结论是"每个自己造网关的团队，最终都重写了 LiteLLM 80% 的功能，只是文档更差"。
变现路径有三条清晰的阶梯：引流款（Helicone 一行代码监控，¥99–299，拉新）→ 训练营（One API / LiteLLM，2 小时出一个能用的网关，¥199–499，建信任）→ 高客单私有化（Langfuse / Envoy AI Gateway，¥2–30 万，赚利润）。尤其值得关注的是两个信号：一是 ClickHouse 收购 Langfuse，把可观测栈从"创业玩具"抬升为"数据库基础设施"，企业合规审批阻力骤降；二是国产模型百花齐放背景下，One API 这类"国产模型聚合 + 内部计费"的中台需求，在国内市场几乎没有像样的商业对手。下一轮值得继续追踪的方向：AI 网关之上的"智能路由层"（按任务自动选最便宜够用的模型）与"Agent 流量治理"（A2A 协议下的多智能体限流与审计）。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。