当一家公司同时用着 OpenAI、Claude、Gemini、DeepSeek、通义、豆包六七家大模型 API 时，真正的痛点已经不是"调谁的"，而是**怎么统一调、怎么记账、怎么降级、怎么省钱、怎么不超预算**。这就是 2026 年「大模型网关 / AI Gateway」赛道爆发的根本原因——它在大模型应用和上游 API 之间插了一层"路由 + 计费 + 缓存 + 审计"的反向代理。本周（2026-06）这一层正在剧烈洗牌：老牌 LiteLLM 稳坐 4.8 万星王座，Portkey 在 3 月 24 日宣布**全面开源**并号称日均处理超 1 万亿 token，国产 New API 以 3.9 万星反超祖师爷 One API，Go 新锐 Bifrost 公开 benchmark 称比 LiteLLM 快 50 倍。本文从变现潜力、训练营适用性、技术新颖度、维护活跃度四个维度，拆解 7 款可直接包装成付费产品或训练营教材的开源大模型网关。 ## 一、筛选标准 | 维度 | 权重 | 说明 | |------|------|------| | 变现潜力 | 40% | 能否包装成中转站 / 企业私有化 / SaaS 席位 / 降本审计？目标用户与定价空间 | | 训练营适用性 | 25% | 2–4 小时能否跑通？学员能否带走一个可演示的成果（一个中转站、一块成本看板） | | 技术新颖度 | 20% | 是否代表"网关即基础设施"前沿？路由 / 缓存 / 治理 / 评测等差异化能力 | | 维护活跃度 | 15% | 最近一周是否有 commit？2026 年是否有重大版本或开源事件？ | > 上手难度约定：⭐ 越多越难。⭐⭐ 表示一条 Docker 命令即可跑，⭐⭐⭐⭐⭐ 表示需集群与二次开发。 下面七款恰好覆盖了大模型网关的完整技术栈，从接入聚合到评测追踪，各占一层，互不重复： ```mermaid mindmap root((大模型网关技术栈)) 接入聚合层 LiteLLM 统一100+ provider 分发计费层 One API 中转站祖师爷 New API 活跃增强版 治理可靠层 Portkey 1600模型+护栏 性能吞吐层 Bifrost Go 50x快 缓存成本层 Helicone 一行接入降本 评测追踪层 Langfuse Prompt管理+评分 ``` --- ## 二、七款开源大模型网关深度拆解 ### 1. LiteLLM · 接入聚合层的"事实标准" **项目**：[BerriAI/litellm](https://github.com/BerriAI/litellm) ｜ Star ≈ 4.8 万 ｜ 最近更新：本周持续 commit ｜ 语言：Python ｜ YC 孵化 **核心功能**（一句话）：用一套 OpenAI 兼容格式，统一调用 100+ 家大模型 provider，自带成本追踪、限流、降级和 Python SDK + Proxy Server 双形态。 **上手难度**：⭐⭐⭐（pip 装库即可，但要配好 Proxy 的 YAML、密钥、预算规则需半天） **变现评估**：LiteLLM 是企业自建统一 AI 网关的最佳底座，变现路径清晰——①**企业私有化部署咨询**：帮客户把分散在各团队、各云的模型调用收敛到一个网关，做统一密钥 + 部门预算 + 审计日志，单项目 ¥3–5 万；②**多云成本优化托管 SaaS**：基于其成本追踪 + 缓存能力，做"帮你把大模型账单降 30%"的按月服务，¥299–999/月；③给中小团队提供"统一 AI 网关"托管。它的弱点是配置偏开发者向、UI 较弱，**恰好是做咨询和托管的生意机会**。 **训练营评估**：极佳的中阶课《用 LiteLLM 搭建企业级 AI 网关》，4 小时可让学员产出一个"多模型统一入口 + 实时成本看板 + 部门预算告警"的可演示系统。定价 ¥299–499，目标人群是有 API 调用经验的后端/AI 工程师。 **竞品与差异化**：相比 New API/One API，LiteLLM 更"国际化"、provider 覆盖最广，但中文计费/分销能力弱；相比 Portkey 它更轻、更开放，但企业治理功能少。 --- ### 2. One API · 国产中转站的"祖师爷" **项目**：[songquanpeng/one-api](https://github.com/songquanpeng/one-api) ｜ Star ≈ 3.5 万 ｜ 最近更新：持续维护 ｜ 语言：Go **核心功能**：单可执行文件 + Docker 一键部署的 LLM API 管理与分发系统，支持 OpenAI/Azure/Claude/Gemini/DeepSeek/豆包/通义/文心/星火等主流模型，内置**令牌、用户、渠道、计费、额度**全套管理。 **上手难度**：⭐⭐（一条 `docker run` 起服务，自带中文 Web 管理台） **变现评估**：**变现天花板最高的项目之一**，因为它的产品形态本身就是一门生意——**AI API 中转站 / 聚合分销平台**。玩法：低价批发多家模型 API（或薅免费额度）→ 在 One API 里加价零售 → 对外卖 API Key + 按量计费。变现方式：①**中转站搭建服务** ¥2000–5000/单，帮小白/跨境团队搭一个能对外卖 key 的站；②**训练营《搭建你的 AI API 中转站，副业月入过万》** ¥299–599，学员带走一个可运营的站；③自己运营中转站持续抽佣（毛利可观）。中文社区里它已是事实标准，教程和案例极多，**教学阻力最低**。 **训练营评估**：满分。2 小时从零到"能对外发 key、能记账、能限流"的中转站，学员成果可立即变现，复购和口碑效应强。 **竞品与差异化**：相比 LiteLLM 多了完整的"分销 + 计费 + 用户体系"，相比 New API 功能稍旧但更稳定、文档更全。适合做"稳健型中转站"。 --- ### 3. New API · 反超祖师爷的活跃增强版 **项目**：[QuantumNous/new-api](https://github.com/QuantumNous/new-api)（原 Calcium-Ion/new-api）｜ Star ≈ 3.9 万（全球排名约 #679，6/20 仍在涨）｜ 最近更新：本周高频 commit ｜ 语言：Go **核心功能**：One API 的活跃 Fork，定位"统一 AI 模型聚合与分发 Hub"，支持各类模型互转、令牌分组、模型重定向、多租户、更丰富的计费策略与渠道管理。 **上手难度**：⭐⭐⭐（部署同 One API，但渠道/计费/分组配置项更多） **变现评估**：在 One API 的"中转站"基础上，New API 更适合做**进阶产品**——①**垂直"AI 模型市场"SaaS**：面向非技术用户，提供一键开通的多模型平台，按席位 ¥999/月起；②**多租户中转站**：给代理/团队做白标分销，每个租户独立计费；③搭建服务溢价更高 ¥3000–8000。它的更新频率和功能密度是国产网关里最激进的，适合做"高阶中转站 + 模型市场"组合拳。 **训练营评估**：作为 One API 的进阶篇《从单站到多租户模型市场》，3–4 小时，¥399–599。适合已会 One API、想商业化的学员。 **竞品与差异化**：核心差异化是"更现代的计费与多租户"以及更快的迭代。风险是 Fork 生态、需关注主仓库动向。 --- ### 4. Portkey · 全面开源的企业治理网关 **项目**：[Portkey-AI/gateway](https://github.com/Portkey-AI/gateway) ｜ Star ≈ 1.16 万 ｜ **2026-03-24 宣布全面开源**（Apache-2.0 之上解除功能限制），日均处理超 1 万亿 token ｜ 语言：TypeScript **核心功能**：生产级 AI 网关，路由到 1600+ 个语言/视觉/音频模型，内置可观测、治理、护栏、缓存、自动降级、负载均衡。 **上手难度**：⭐⭐⭐⭐（边缘 worker 部署轻，但要玩透治理/护栏/审计需较深功底） **变现评估**：这是**最适合 ToB 大客户私有化**的一款。金融、医疗、政企等强合规场景需要"治理 + 审计 + 护栏"，Portkey 恰好补齐——变现方式：①**企业级 AI 治理私有化部署** ¥5–20 万/项目，含合规审计日志、敏感词护栏、模型治理；②**生产级 AI 可靠性咨询**（降级链路、SLA 保障）。3 月全面开源是分水岭事件，意味着以前收费的企业功能现在可白嫖，**咨询溢价空间反而变大**。 **训练营评估**：偏高阶《生产级 AI 可靠性与治理》，¥399–699，4 小时，适合资深架构师。学员产出：一条带降级 + 护栏 + 审计的可靠调用链。 **竞品与差异化**：差异化在"治理 + 护栏 + 企业级 SLA"，是 LiteLLM/One API 都薄弱的地方。弱点是自建全套（含控制台）门槛较高。 --- ### 5. Bifrost · Go 写的性能王者 **项目**：[maximhq/bifrost](https://github.com/maximhq/bifrost) ｜ Star ≈ 近 4 千（快速增长，Trendshift 上榜）｜ Apache-2.0 ｜ 语言：Go **核心功能**：号称"比 LiteLLM 快 50 倍"的高性能 AI 网关，统一接入 23+ provider，带自适应负载均衡、集群模式、语义缓存、MCP 网关能力，单 Go 二进制。 **上手难度**：⭐⭐⭐⭐（单二进制部署快，但调优负载均衡/集群/缓存需性能工程经验） **变现评估**：盯准**延迟敏感与高并发**场景——实时 AI 助手、AI 客服高峰、边缘/嵌入式网关。变现方式：①**高吞吐毫秒级 AI 网关方案**，项目制或 ¥999–2999/月；②**性能优化咨询**（基于 benchmark 帮客户把 p95 延迟打下来）。Go 单二进制的特性让它适合**嵌入到客户现有系统**做 OEM，是差异化卖点。 **训练营评估**：《用 Bifrost 打造毫秒级 AI 网关》，¥299–499，3 小时，适合对延迟敏感的后端/架构同学，亮点是可现场跑 benchmark 对比，视觉冲击强。 **竞品与差异化**：纯性能路线，benchmark 是核心营销武器；功能广度不如 LiteLLM/Portkey，但延迟与吞吐碾压。 --- ### 6. Helicone · 一行代码看懂 AI 账单并降本 **项目**：[Helicone/helicone](https://github.com/Helicone/helicone) ｜ Star ≈ 5.8 千 ｜ MIT ｜ YC W23 ｜ 语言：TypeScript **核心功能**：开源 LLM 可观测平台 + AI 网关，**一行代码**接入，提供请求日志、成本追踪、缓存、限流、A/B 测试。 **上手难度**：⭐⭐（改一行 baseURL 即接入，自托管有 Docker Compose） **变现评估**：变现锚点是**"AI 降本审计"**——很多企业大模型账单失控却不知道钱花在哪。Helicone 的成本看板 + 缓存能把账单砍掉一大块。变现方式：①**AI 账单审计与降本服务** ¥3000–1 万/项目（先免费出账单分析报告，再按节省金额分成）；②成本可观测托管 SaaS。这是典型的"先用免费诊断撬动付费"的销售模型。 **训练营评估**：《一行代码看懂你的 AI 账单并降本 80%》，¥199–399，2 小时，学员当场能看到自己 API 的成本分布 + 开启缓存省钱，**即时获得感极强**，适合做引流低价课。 **竞品与差异化**：相比 Langfuse 更"网关 + 缓存"导向、接入更轻；相比 Portkey 更偏中小团队。强项是"接入零摩擦 + 省钱立竿见影"。 --- ### 7. Langfuse · 自建 LLM 评测与 Prompt 管理平台 **项目**：[langfuse/langfuse](https://github.com/langfuse/langfuse) ｜ Star ≈ 2.66 万 ｜ MIT，v3 支持完整自托管 ｜ 语言：TypeScript/Python **核心功能**：开源 LLM 工程平台，提供追踪（tracing）、评测（eval）、Prompt 版本管理、实验（experiments）、评分（scoring），是 LangSmith 的事实替代。 **上手难度**：⭐⭐⭐⭐（自托管 + 接入 SDK + 设计评测流程需系统工程与 ML 评估经验） **变现评估**：定位"AI 质量保障"——企业上线 AI 功能最怕"模型胡说"，Langfuse 解决"怎么评、怎么管 Prompt、怎么回归"。变现方式：①**自建 LLM 评测与 Prompt 管理平台私有化** ¥2–8 万；②**AI 质量保障咨询**（设计评测集、建立回归流水线）。它和上层网关（LiteLLM/Portkey）天然搭档——网关管"怎么调"，Langfuse 管"调得好不好"。 **训练营评估**：《自建 LLM 评测与 Prompt 管理平台》，¥399–699，4 小时，适合 AI 工程团队负责人，学员产出：一套带评测集 + Prompt 版本 + 回归看板的质量体系。 **竞品与差异化**：相比 Helicone 更重"工程化评测与 Prompt 治理"，相比 LangSmith 完全开源可自托管、数据不出域。强项是"评测 + Prompt 管理"一体化。 --- ## 三、可视化：变现定位四象限 横轴=上手/落地速度（左慢右快），纵轴=变现天花板（低下高上）。 ```mermaid quadrantChart title 七款开源大模型网关变现定位 x-axis "落地慢 / 门槛高" --> "落地快 / 易上手" y-axis "变现天花板低" --> "变现天花板高" quadrant-1 "高天花板+易落地（首选掘金）" quadrant-2 "高天花板+高门槛（ToB深耕）" quadrant-3 "低天花板+高门槛（生态位）" quadrant-4 "低天花板+易落地（引流引流）" "One API": [0.85, 0.9] "New API": [0.72, 0.88] "LiteLLM": [0.55, 0.8] "Portkey": [0.3, 0.85] "Bifrost": [0.4, 0.55] "Helicone": [0.78, 0.6] "Langfuse": [0.38, 0.7] ``` 一眼可见：**One API / New API 落在"高天花板 + 易落地"的首选象限**，是个人与中小团队最快变现的起点；**Portkey / Langfuse 落在高门槛 ToB 象限**，适合做企业级深耕；**Helicone 是最好的引流课抓手**（接入零摩擦 + 省钱即时可见）。 --- ## 四、变现潜力 Top 5 排行榜 | 排名 | 项目 | 变现方向 | 预估定价 | |------|------|----------|----------| | 🥇 1 | **One API** | AI API 中转站 / 聚合分销平台（直接卖 Key） | 搭建 ¥2–5k/单 + 持续抽佣；训练营 ¥299–599 | | 🥈 2 | **New API** | 多租户模型市场 SaaS / 进阶中转 | ¥999/月席位 + 搭建 ¥3–8k | | 🥉 3 | **Portkey** | 企业级 AI 治理 / 合规私有化 | ¥5–20 万/项目 | | 4 | **LiteLLM** | 企业统一网关 + 多云成本优化托管 | 咨询 ¥3–5 万 + 托管 ¥299–999/月 | | 5 | **Helicone** | AI 账单审计与降本服务 | ¥3k–1 万/项目 + 托管 SaaS | **掘金组合建议**：个人/副业起步选 **One API 中转站**（最快见现金）；想长期做 ToB 选 **Portkey 治理 + Langfuse 评测**的组合（客单价最高）；做训练营矩阵则用 **Helicone 引流 → One API 变现 → New API 进阶 → Portkey/Langfuse 高客单** 的漏斗。 大模型网关这一层，本质是把"分散、昂贵、不可控"的模型调用，变成"统一、可计费、可治理"的基础设施——谁先把这套开源工具包装成"帮企业省心省钱"的产品，谁就吃到 2026 年这波 AI 基础设施红利。 --- ## 参考来源 1. [Portkey's Gateway is Now Fully Open Source, Processing over 1 Trillion Tokens Every Day — GlobeNewswire (2026-03-24)](https://itnewsonline.com/GlobeNewswire/Portkeys-Gateway-is-Now-Fully-Open-Source-Processing-over-1-Trillion-Tokens-Every-Day/118539) — Portkey 全面开源事件与日均 1 万亿 token 处理量 2. [Stop Juggling LLM APIs: 9 Gateways Ranked 2026 — TECHSY (updated 2026-06-24)](https://techsy.io/en/blog/best-llm-gateway-tools) — 2026 年 6 月九款 LLM 网关横评（含 Portkey 全面开源、Bifrost benchmark） 3. [5 Best Open-Source LLM Gateways for Self-Hosted Deployments in 2026 — Maxim](https://www.getmaxim.ai/articles/5-best-open-source-llm-gateways-for-self-hosted-deployments-in-2026/) — 自托管开源 LLM 网关选型对比（性能/治理/MCP） 4. [主流 LLM 网关调研报告（2026 年 6 月）— 知乎](https://zhuanlan.zhihu.com/p/2045264948540986170) — LiteLLM/Bifrost/Portkey 三大阵营与国产网关中文视角分析 5. [BerriAI/litellm Star History（约 4.8 万★）— star-history](https://www.star-history.com/berriai/litellm/) 与 [QuantumNous/new-api（约 3.9 万★，全球 #679）](https://www.star-history.com/quantumnous/new-api/) 与 [songquanpeng/one-api（约 3.5 万★）— gitstar](https://www.gitstar.co.kr/songquanpeng/one-api) — 各项目 Star 数与增长趋势 6. [大模型网关详解：多模型路由、Fallback、限流与成本控制 — JavaGuide](https://javaguide.cn/ai/system-design/llm-gateway.html) — 网关核心能力（路由/降级/限流/Token 预算/缓存）技术解读 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。