首页 › weekly › 自建AI网关砍掉API中转年费

自建AI网关砍掉API中转年费:七款开源LLM网关掘金地图

概述

当一家公司从"用一个大模型"变成"同时对接 OpenAI、Anthropic、Google、国产大模型加本地推理"时,最先失控的不是预算,是密钥——十几个团队的 key 散落在代码、配置、运维脚本里,谁也说不清本月烧了多少钱、哪个 key 该轮换、哪家渠道在偷偷限流。OpenRouter 这类中转商靠"统一入口"收 5%–20% 加价;Portkey、Helicone 的托管版按请求或 token 抽成,企业账单动辄每年数万元。本周盘点的七款开源 LLM 网关,恰好覆盖了统一路由、密钥池化、组织计费、护栏合规、成本可观测、预算管控、免费层叠加七个不同维度,全部支持自托管、数据不出内网,是替代中转订阅最有商业想象空间的一类工具。

筛选标准

维度 权重 说明
变现潜力 40% 能否包装成"私有化 AI 网关 SaaS / 中转分账平台 / 企业咨询交付"?定价空间多大?
训练营适用性 25% 学员能否在 2–4 小时内跑通一个能对外提供 OpenAI 兼容接口、带计费看板的网关?
技术新颖度 20% 是否支持 A2A/MCP 新协议、智能缓存、护栏、多租户计费等差异化能力?
维护活跃度 15% 最近一个月是否有 release?协议是否商用友好(MIT/Apache vs AGPL 传染性)?

为什么企业愿意为 AI 网关付费

四个绕不开的痛点,每一个都对应一块可收费的"蛋糕":

  1. 中转加价:OpenRouter、各类国内中转站对每个请求叠加 5%–20%,月烧 10 万 token 成本的用户每年白白多付数千到数万。
  2. 密钥治理真空:生产 key 散落、无法按团队/项目限额、无法吊销、无法审计,一次泄露就是事故。
  3. 成本黑盒:财务要的是"市场部本月 GPT-4 调用花了多少钱",但账单只有云厂商一个总数,分摊靠手工。
  4. 合规与高可用:金融、医疗需要数据不出境、需要 SOC2/HIPAA、需要故障自动 fallback,托管网关往往满足不了。

自建网关把这四件事一次性解决,且把"中转费"从支出项变成可对外收费的"增值服务"——这正是变现的核心逻辑。

七款开源 LLM 网关深度拆解

一、LiteLLM(BerriAI/litellm)| ⭐52.4k|更新至 v1.90.0(2026-06-27)

核心功能:一句话——用统一的 OpenAI 格式调用 100+ 家模型提供商,内置虚拟密钥、成本追踪、负载均衡、护栏与日志的"AI 操作系统"。

上手难度:⭐⭐⭐(Docker 一行起,但企业级配置矩阵庞大)

它是这个赛道当之无愧的"事实标准":40,117 次 commit、1,383 个 release、P95 延迟 8ms@1000 RPS,Netflix 等大厂在生产用它。最新版已经把网关能力从"模型代理"扩展到 A2A Agent 网关 + MCP 工具网关——这意味着它不只代理聊天补全,还能统一治理跨 Agent 的工具调用。支持 AWS/GCP 一键 Terraform 部署、Docker 镜像 cosign 签名。

变现评估:最直接的路径是企业私有化交付。把 LiteLLM 部署到客户 K8s,配置好 SSO、预算分级、护栏规则,单家交付报价 ¥3万–¥15万;做长期托管运维可按月收 ¥3000–¥8000。对中小团队则可包装成"AI 出口统一管理"专栏(¥299)或"从零搭建企业 AI 网关"训练营(¥999–¥1999,2 天)。

训练营评估:极佳教材。4 小时内学员能跑出一个支持多模型 fallback、带成本看板、可给同事发虚拟 key 的网关。学员带走一个能立刻用于自家公司的"AI 流量总机"。

差异化:生态最广(100+ provider)、企业成熟度最高,是"别问选哪个,先上 LiteLLM"的安全牌。短板是企业级功能(SSO/审计)需购买 Commercial License。

二、New API(QuantumNous/new-api,原 Calcium-Ion)| ⭐40.9k|更新至 v1.0.0-rc.15(2026-06-24)

核心功能:下一代 LLM 网关 + AI 资产管理系统,one-api 的二开升级版,主打组织级计费、用量分析、OpenAI ⇄ Claude ⇄ Gemini 格式互转。

上手难度:⭐⭐(宝塔/Docker 一键,中文界面友好)

6,020 次 commit、501 个 release,已经反超母体 one-api 成为中文圈主流。它把网关做成了"AI 资产中台":支持 Discord/Telegram/LinuxDO/OIDC 登录、Midjourney/Suno 接口、组织级计费与缓存命中计费、中英法日多语言。

变现评估:这是中文互联网做"AI 中转分账 SaaS"的最佳底盘。许多国产 Claude/GPT 镜像站、AI 卡密商城就是基于它搭建。商业模式清晰:批量采购上游 API key,通过 New API 二次分发、按倍率计费、生成卡密销售。一套站点月流水从数千到数十万不等。也可做交付:帮客户搭"内部 AI 共享平台"带计费,报价 ¥1万–¥5万。注意 AGPL-3.0 传染性——若做闭源 SaaS 需购买商业授权([email protected])。

训练营评估:4 小时教会学员搭一个"自己的 AI 中转站"——能发卡密、能看每个用户的花费、能切多渠道。这是小红书/即刻最容易出爆款成果的项目类型。

差异化:中文计费生态最深,唯一原生支持"卖卡密/分账"。法律上需留意 AGPL 与商业授权。

三、One API(songquanpeng/one-api)| ⭐35.5k|最新 release v0.6.10(2025-02-02)

核心功能:LLM API 管理 & 分发系统,把 OpenAI/Azure/Claude/Gemini/国产模型统一到一个 API,做 key 管理与二次分发。

上手难度:⭐⭐(单可执行文件 + Docker,极简)

变现评估与训练营价值不在"产品",而在"教训":这是一款近一年半几乎停滞(最新发布 2025-02-02)的成熟基石项目。它的价值有二——其一,MIT + 署名要求的商业模型教学范本:协议够宽松但保留了品牌露出,是讲"开源协议如何影响商业化"的活教材;其二,开源项目生命周期的经典案例:功能够用后被更活跃的二开(new-api)超越。训练营里它适合作为 30 分钟的"历史课 + 迁移演示",不建议作为主交付。如果你要稳定生产,直接用 new-api。

差异化:中文圈一切分发项目的"祖师爷",生态最成熟但已停摆。商业部署请用 new-api 替代。

四、Portkey Gateway(Portkey-AI/gateway)| ⭐12.3k|更新至 v1.15.2(2026-01-12)

核心功能:极速 AI 网关,路由 1600+ 模型,集成 50+ 护栏(guardrails),统一 API。

上手难度:⭐⭐(npx @portkey-ai/gateway 一行启动)

它的卖点是"快与稳":延迟 <1ms、镜像仅 122KB、日处理 10B+ tokens。更关键的是 50+ 预置护栏——越狱检测、PII 脱敏、内容审核、JSON 强制校验,开箱即用,符合 SOC2/HIPAA/GDPR/CCPA。

变现评估:定位"合规与治理"。金融、医疗、政企客户买 AI 网关,第一句话往往是"数据合规怎么做"。Portkey 的护栏矩阵就是销售武器。交付路径:帮客户搭一套"合规 AI 出口"(PII 脱敏 + 越狱拦截 + 审计日志 + 故障转移),单家 ¥5万–¥20万。也可做"AI 内容安全护栏配置"专栏(¥399)。MIT 协议,商用零风险。

训练营评估:2 小时跑通"给任意 LLM 接口加一道安全护栏",学员带走一个能拦截越狱/脱敏身份证号的能力,对安全岗、运维岗极有吸引力。

差异化:唯一把"护栏治理"做成一等公民的开源网关。短板是核心企业功能仍在其商业托管版。

五、Helicone(Helicone/helicone)| ⭐5.9k|最新 v2025.08.21(YC W23)

核心功能:开源 LLM 可观测性平台 + AI 网关,一行代码接入,做监控、评估、实验。

上手难度:⭐⭐(SDK 一行接入,Docker Compose 自托管)

它本质上不是"网关"而是"LLM 的 Datadog",但顺手把路由也做了(含 Bifrost 多模型路由)。强项在成本/延迟/质量追踪、Agent tracing、Prompt 版本管理、Fine-tune 数据沉淀,与 PostHog/LangChain 深度集成。

变现评估:适合做"AI 成本与质量体检"服务。许多公司 AI 用了一年却说不清"哪个 prompt 最烧钱、哪个 RAG 检索质量最差"。帮客户接入 Helicone 做一周体检 + 优化报告,报价 ¥2万–¥8万,可复购。Apache-2.0,商用友好。

训练营评估:3 小时教会学员"给已有 AI 应用接上可观测",看懂成本曲线和 trace,是 AI 工程师进阶的硬技能。

差异化:可观测深度第一,但纯路由能力不如 LiteLLM。最佳搭配是"LiteLLM 管路由 + Helicone 管观测"。

六、Mozilla AI any-llm-gateway(mozilla-ai)| 新开源(2026-07 官宣)

核心功能:FastAPI 代理服务器,在 any-llm 多提供商库上叠加生产级预算管控、API key 管理、用量分析。

上手难度:⭐⭐(Docker 几分钟,K8s 就绪)

Mozilla 背书、定位"成本与访问控制平面"是它最独特的标签:智能预算分级(日/周/月自动重置,可共享或仅追踪)、虚拟 key 过期/吊销/元数据、K8s liveness/readiness 就绪。

变现评估:适合打" Mozilla 信任背书 + 数据主权"牌。对担心供应商锁定、要求完全开源透明的欧洲/政企客户,"Mozilla 出品的 AI 预算网关"是绝佳故事。当前刚开源、生态早期,做早期布道(教程、案例)能抢占生态位,长期可做"开源 AI 治理咨询"。变现尚在早期,但势能足。

训练营评估:2 小时跑通"给团队每个成员发带预算上限的 AI key",超支自动停,是中小团队刚需。

差异化:唯一原生聚焦"预算即代码"的控制平面,Mozilla 光环加持。短板是太新,文档与社区待补。

七、FreeLLMAPI(tashfeenahmed/freellmapi)| ⭐14.8k|更新至 v0.4.1(2026-06-20)

核心功能:OpenAI 兼容代理,把 16+ 家提供商的免费额度叠加(约 17 亿 tokens/月、161 个免费模型)到一个端点,含智能路由与自动故障转移。

上手难度:⭐(Docker 一行,含桌面菜单栏 App)

2026-05 才被广泛发现的爆火项目。它的逻辑很讨巧:把 Google、NVIDIA、GitHub、Cohere、Groq、Mistral 等的免费层聚合成一个池,按可用性自动故障转移、每 key 限流追踪、sticky session、上下文切换 handoff。

变现评估:务必标注风险——作者自评各上游 ToS,对 Google/NVIDIA/GitHub/Cohere 标注"风险/谨慎/避免",明确仅供个人实验,无 SLA、无前沿模型。所以它不适合做生产中转 SaaS(合规雷区)。但变现空间在两处:其一,作者本人的 Premium live catalog($19/年或$49 终身,新模型当天同步 vs 免费版滞后 30 天)已是跑通的"卖铲"模式,可借鉴其"免费引流 + 高频数据订阅"打法;其二,做"个人开发者白嫖 AI"的引流内容(专栏/视频),把流量导到自己的付费训练营。

训练营评估:1 小时演示项目,适合做"开源商业模式拆解"的案例课,而非生产交付。

差异化:唯一聚焦"免费层叠加",话题性极强。ToS 风险是它最大的商业天花板。

项目分布全景

quadrantChart
    title 七款开源LLM网关:变现潜力 vs 上手难度
    x-axis "上手易 →" --> "上手难"
    y-axis "变现潜力弱" --> "变现潜力强"
    quadrant-1 "高价值·需深交付"
    quadrant-2 "高价值·易上手"
    quadrant-3 "话题强·变现弱"
    quadrant-4 "需谨慎"
    "LiteLLM 企业交付": [0.45, 0.90]
    "New-API 中转分账": [0.40, 0.85]
    "Portkey 合规护栏": [0.30, 0.75]
    "Helicone 成本体检": [0.30, 0.65]
    "One-API 基石(停摆)": [0.25, 0.50]
    "Mozilla 预算控制面": [0.25, 0.55]
    "FreeLLMAPI 白嫖": [0.20, 0.35]

变现潜力 Top 5 排行榜

排名 项目 变现方向 预估定价
🥇 1 LiteLLM 企业私有化交付 + 长期托管运维 + 训练营 交付 ¥3万–¥15万/托管 ¥3千–¥8千/月/训练营 ¥999–¥1999
🥈 2 New API AI 中转分账 SaaS + 卡密商城 + 内部共享平台交付 站点月流水数千–数十万/交付 ¥1万–¥5万(商用需授权)
🥉 3 Portkey Gateway 合规 AI 出口(护栏+审计+脱敏) 交付 ¥5万–¥20万/安全专栏 ¥399
4 Helicone AI 成本与质量体检服务(可复购) 单次 ¥2万–¥8万
5 Mozilla any-llm-gateway 开源 AI 治理咨询(早期布道占位) 咨询 ¥5千–¥3万/长期生态红利

给不同人群的选型一句话

这一类工具的共同财富密码:把"中转费"从企业的支出项,重新定义为你的收费项——只要企业还在用多家大模型,AI 网关就是刚需,而开源让你能以零授权成本入局。

参考来源

  1. GitHub - BerriAI/litellm: Python SDK, Proxy Server (AI Gateway) — LiteLLM 官方仓库,100+ provider 统一网关,企业级能力与 star/活跃度数据来源
  2. GitHub - QuantumNous/new-api(原 Calcium-Ion/new-api) — 中文圈主流 LLM 网关 + 计费分账系统,AGPL-3.0 协议与商业授权说明
  3. Stop Juggling LLM APIs: 9 Gateways Ranked 2026 | TECHSY — 2026 年 LLM 网关横评,LiteLLM 与 OpenRouter 定位对比
  4. Control LLM Spend and Access with any-llm-gateway | Mozilla AI Blog — Mozilla AI 官宣开源预算管控网关,定位"成本与访问控制平面"
  5. Awesome AI Gateway — 100+ 网关对比 (cuihuan) — LiteLLM/Portkey/Helicone/Braintrust 等网关特性横向对比汇总

本文由「51学通信」原创梳理,站长爱卫生(微信:gprshome201101)持续追踪开源 AI 工具的商业机会。通信技术干货与 AI 变现实战,欢迎关注交流。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入