# 自建AI网关砍掉API中转年费：七款开源LLM网关掘金地图 ## 概述 当一家公司从"用一个大模型"变成"同时对接 OpenAI、Anthropic、Google、国产大模型加本地推理"时，最先失控的不是预算，是**密钥**——十几个团队的 key 散落在代码、配置、运维脚本里，谁也说不清本月烧了多少钱、哪个 key 该轮换、哪家渠道在偷偷限流。OpenRouter 这类中转商靠"统一入口"收 5%–20% 加价；Portkey、Helicone 的托管版按请求或 token 抽成，企业账单动辄每年数万元。本周盘点的七款开源 LLM 网关，恰好覆盖了**统一路由、密钥池化、组织计费、护栏合规、成本可观测、预算管控、免费层叠加**七个不同维度，全部支持自托管、数据不出内网，是替代中转订阅最有商业想象空间的一类工具。 ## 筛选标准 | 维度 | 权重 | 说明 | |------|------|------| | 变现潜力 | 40% | 能否包装成"私有化 AI 网关 SaaS / 中转分账平台 / 企业咨询交付"？定价空间多大？ | | 训练营适用性 | 25% | 学员能否在 2–4 小时内跑通一个能对外提供 OpenAI 兼容接口、带计费看板的网关？ | | 技术新颖度 | 20% | 是否支持 A2A/MCP 新协议、智能缓存、护栏、多租户计费等差异化能力？ | | 维护活跃度 | 15% | 最近一个月是否有 release？协议是否商用友好（MIT/Apache vs AGPL 传染性）？ | ## 为什么企业愿意为 AI 网关付费 四个绕不开的痛点，每一个都对应一块可收费的"蛋糕"： 1. **中转加价**：OpenRouter、各类国内中转站对每个请求叠加 5%–20%，月烧 10 万 token 成本的用户每年白白多付数千到数万。 2. **密钥治理真空**：生产 key 散落、无法按团队/项目限额、无法吊销、无法审计，一次泄露就是事故。 3. **成本黑盒**：财务要的是"市场部本月 GPT-4 调用花了多少钱"，但账单只有云厂商一个总数，分摊靠手工。 4. **合规与高可用**：金融、医疗需要数据不出境、需要 SOC2/HIPAA、需要故障自动 fallback，托管网关往往满足不了。 自建网关把这四件事一次性解决，且把"中转费"从支出项变成可对外收费的"增值服务"——这正是变现的核心逻辑。 ## 七款开源 LLM 网关深度拆解 ### 一、LiteLLM（BerriAI/litellm）｜ ⭐52.4k｜更新至 v1.90.0（2026-06-27） **核心功能**：一句话——用统一的 OpenAI 格式调用 100+ 家模型提供商，内置虚拟密钥、成本追踪、负载均衡、护栏与日志的"AI 操作系统"。 **上手难度**：⭐⭐⭐（Docker 一行起，但企业级配置矩阵庞大） 它是这个赛道当之无愧的"事实标准"：40,117 次 commit、1,383 个 release、P95 延迟 8ms@1000 RPS，Netflix 等大厂在生产用它。最新版已经把网关能力从"模型代理"扩展到 **A2A Agent 网关 + MCP 工具网关**——这意味着它不只代理聊天补全，还能统一治理跨 Agent 的工具调用。支持 AWS/GCP 一键 Terraform 部署、Docker 镜像 cosign 签名。 **变现评估**：最直接的路径是**企业私有化交付**。把 LiteLLM 部署到客户 K8s，配置好 SSO、预算分级、护栏规则，单家交付报价 ¥3万–¥15万；做长期托管运维可按月收 ¥3000–¥8000。对中小团队则可包装成"AI 出口统一管理"专栏（¥299）或"从零搭建企业 AI 网关"训练营（¥999–¥1999，2 天）。 **训练营评估**：极佳教材。4 小时内学员能跑出一个支持多模型 fallback、带成本看板、可给同事发虚拟 key 的网关。学员带走一个能立刻用于自家公司的"AI 流量总机"。 **差异化**：生态最广（100+ provider）、企业成熟度最高，是"别问选哪个，先上 LiteLLM"的安全牌。短板是企业级功能（SSO/审计）需购买 Commercial License。 ### 二、New API（QuantumNous/new-api，原 Calcium-Ion）｜ ⭐40.9k｜更新至 v1.0.0-rc.15（2026-06-24） **核心功能**：下一代 LLM 网关 + AI 资产管理系统，one-api 的二开升级版，主打**组织级计费、用量分析、OpenAI ⇄ Claude ⇄ Gemini 格式互转**。 **上手难度**：⭐⭐（宝塔/Docker 一键，中文界面友好） 6,020 次 commit、501 个 release，已经反超母体 one-api 成为中文圈主流。它把网关做成了"AI 资产中台"：支持 Discord/Telegram/LinuxDO/OIDC 登录、Midjourney/Suno 接口、组织级计费与缓存命中计费、中英法日多语言。 **变现评估**：这是中文互联网做**"AI 中转分账 SaaS"**的最佳底盘。许多国产 Claude/GPT 镜像站、AI 卡密商城就是基于它搭建。商业模式清晰：批量采购上游 API key，通过 New API 二次分发、按倍率计费、生成卡密销售。一套站点月流水从数千到数十万不等。也可做交付：帮客户搭"内部 AI 共享平台"带计费，报价 ¥1万–¥5万。注意 **AGPL-3.0 传染性**——若做闭源 SaaS 需购买商业授权（support@quantumnous.com）。 **训练营评估**：4 小时教会学员搭一个"自己的 AI 中转站"——能发卡密、能看每个用户的花费、能切多渠道。这是小红书/即刻最容易出爆款成果的项目类型。 **差异化**：中文计费生态最深，唯一原生支持"卖卡密/分账"。法律上需留意 AGPL 与商业授权。 ### 三、One API（songquanpeng/one-api）｜ ⭐35.5k｜最新 release v0.6.10（2025-02-02） **核心功能**：LLM API 管理 & 分发系统，把 OpenAI/Azure/Claude/Gemini/国产模型统一到一个 API，做 key 管理与二次分发。 **上手难度**：⭐⭐（单可执行文件 + Docker，极简） **变现评估与训练营价值不在"产品"，而在"教训"**：这是一款近一年半几乎停滞（最新发布 2025-02-02）的成熟基石项目。它的价值有二——其一，**MIT + 署名要求**的商业模型教学范本：协议够宽松但保留了品牌露出，是讲"开源协议如何影响商业化"的活教材；其二，**开源项目生命周期**的经典案例：功能够用后被更活跃的二开（new-api）超越。训练营里它适合作为 30 分钟的"历史课 + 迁移演示"，不建议作为主交付。如果你要稳定生产，直接用 new-api。 **差异化**：中文圈一切分发项目的"祖师爷"，生态最成熟但已停摆。商业部署请用 new-api 替代。 ### 四、Portkey Gateway（Portkey-AI/gateway）｜ ⭐12.3k｜更新至 v1.15.2（2026-01-12） **核心功能**：极速 AI 网关，路由 1600+ 模型，集成 50+ 护栏（guardrails），统一 API。 **上手难度**：⭐⭐（`npx @portkey-ai/gateway` 一行启动） 它的卖点是"快与稳"：延迟 <1ms、镜像仅 122KB、日处理 10B+ tokens。更关键的是 **50+ 预置护栏**——越狱检测、PII 脱敏、内容审核、JSON 强制校验，开箱即用，符合 SOC2/HIPAA/GDPR/CCPA。 **变现评估**：定位"**合规与治理**"。金融、医疗、政企客户买 AI 网关，第一句话往往是"数据合规怎么做"。Portkey 的护栏矩阵就是销售武器。交付路径：帮客户搭一套"合规 AI 出口"（PII 脱敏 + 越狱拦截 + 审计日志 + 故障转移），单家 ¥5万–¥20万。也可做"AI 内容安全护栏配置"专栏（¥399）。MIT 协议，商用零风险。 **训练营评估**：2 小时跑通"给任意 LLM 接口加一道安全护栏"，学员带走一个能拦截越狱/脱敏身份证号的能力，对安全岗、运维岗极有吸引力。 **差异化**：唯一把"护栏治理"做成一等公民的开源网关。短板是核心企业功能仍在其商业托管版。 ### 五、Helicone（Helicone/helicone）｜ ⭐5.9k｜最新 v2025.08.21（YC W23） **核心功能**：开源 LLM 可观测性平台 + AI 网关，一行代码接入，做监控、评估、实验。 **上手难度**：⭐⭐（SDK 一行接入，Docker Compose 自托管） 它本质上不是"网关"而是"**LLM 的 Datadog**"，但顺手把路由也做了（含 Bifrost 多模型路由）。强项在成本/延迟/质量追踪、Agent tracing、Prompt 版本管理、Fine-tune 数据沉淀，与 PostHog/LangChain 深度集成。 **变现评估**：适合做"**AI 成本与质量体检**"服务。许多公司 AI 用了一年却说不清"哪个 prompt 最烧钱、哪个 RAG 检索质量最差"。帮客户接入 Helicone 做一周体检 + 优化报告，报价 ¥2万–¥8万，可复购。Apache-2.0，商用友好。 **训练营评估**：3 小时教会学员"给已有 AI 应用接上可观测"，看懂成本曲线和 trace，是 AI 工程师进阶的硬技能。 **差异化**：可观测深度第一，但纯路由能力不如 LiteLLM。最佳搭配是"LiteLLM 管路由 + Helicone 管观测"。 ### 六、Mozilla AI any-llm-gateway（mozilla-ai）｜ 新开源（2026-07 官宣） **核心功能**：FastAPI 代理服务器，在 any-llm 多提供商库上叠加生产级**预算管控、API key 管理、用量分析**。 **上手难度**：⭐⭐（Docker 几分钟，K8s 就绪） Mozilla 背书、定位"**成本与访问控制平面**"是它最独特的标签：智能预算分级（日/周/月自动重置，可共享或仅追踪）、虚拟 key 过期/吊销/元数据、K8s liveness/readiness 就绪。 **变现评估**：适合打"** Mozilla 信任背书 + 数据主权**"牌。对担心供应商锁定、要求完全开源透明的欧洲/政企客户，"Mozilla 出品的 AI 预算网关"是绝佳故事。当前刚开源、生态早期，做早期布道（教程、案例）能抢占生态位，长期可做"开源 AI 治理咨询"。变现尚在早期，但势能足。 **训练营评估**：2 小时跑通"给团队每个成员发带预算上限的 AI key"，超支自动停，是中小团队刚需。 **差异化**：唯一原生聚焦"预算即代码"的控制平面，Mozilla 光环加持。短板是太新，文档与社区待补。 ### 七、FreeLLMAPI（tashfeenahmed/freellmapi）｜ ⭐14.8k｜更新至 v0.4.1（2026-06-20） **核心功能**：OpenAI 兼容代理，把 16+ 家提供商的**免费额度**叠加（约 17 亿 tokens/月、161 个免费模型）到一个端点，含智能路由与自动故障转移。 **上手难度**：⭐（Docker 一行，含桌面菜单栏 App） 2026-05 才被广泛发现的爆火项目。它的逻辑很讨巧：把 Google、NVIDIA、GitHub、Cohere、Groq、Mistral 等的免费层聚合成一个池，按可用性自动故障转移、每 key 限流追踪、sticky session、上下文切换 handoff。 **变现评估**：**务必标注风险**——作者自评各上游 ToS，对 Google/NVIDIA/GitHub/Cohere 标注"风险/谨慎/避免"，明确仅供个人实验，无 SLA、无前沿模型。所以它**不适合做生产中转 SaaS**（合规雷区）。但变现空间在两处：其一，作者本人的 **Premium live catalog**（$19/年或$49 终身，新模型当天同步 vs 免费版滞后 30 天）已是跑通的"卖铲"模式，可借鉴其"免费引流 + 高频数据订阅"打法；其二，做"个人开发者白嫖 AI"的引流内容（专栏/视频），把流量导到自己的付费训练营。 **训练营评估**：1 小时演示项目，适合做"开源商业模式拆解"的案例课，而非生产交付。 **差异化**：唯一聚焦"免费层叠加"，话题性极强。ToS 风险是它最大的商业天花板。 ## 项目分布全景 ```mermaid quadrantChart title 七款开源LLM网关：变现潜力 vs 上手难度 x-axis "上手易 →" --> "上手难" y-axis "变现潜力弱" --> "变现潜力强" quadrant-1 "高价值·需深交付" quadrant-2 "高价值·易上手" quadrant-3 "话题强·变现弱" quadrant-4 "需谨慎" "LiteLLM 企业交付": [0.45, 0.90] "New-API 中转分账": [0.40, 0.85] "Portkey 合规护栏": [0.30, 0.75] "Helicone 成本体检": [0.30, 0.65] "One-API 基石(停摆)": [0.25, 0.50] "Mozilla 预算控制面": [0.25, 0.55] "FreeLLMAPI 白嫖": [0.20, 0.35] ``` ## 变现潜力 Top 5 排行榜 | 排名 | 项目 | 变现方向 | 预估定价 | |------|------|----------|----------| | 🥇 1 | **LiteLLM** | 企业私有化交付 + 长期托管运维 + 训练营 | 交付 ¥3万–¥15万／托管 ¥3千–¥8千/月／训练营 ¥999–¥1999 | | 🥈 2 | **New API** | AI 中转分账 SaaS + 卡密商城 + 内部共享平台交付 | 站点月流水数千–数十万／交付 ¥1万–¥5万（商用需授权） | | 🥉 3 | **Portkey Gateway** | 合规 AI 出口（护栏+审计+脱敏） | 交付 ¥5万–¥20万／安全专栏 ¥399 | | 4 | **Helicone** | AI 成本与质量体检服务（可复购） | 单次 ¥2万–¥8万 | | 5 | **Mozilla any-llm-gateway** | 开源 AI 治理咨询（早期布道占位） | 咨询 ¥5千–¥3万／长期生态红利 | ## 给不同人群的选型一句话 - **想创业做 AI 中转/卡密生意** → New API（先搞定商业授权） - **企业 IT 想统一治理公司所有 AI 流量** → LiteLLM - **金融/医疗要做合规出口** → Portkey Gateway - **想知道钱花哪了、质量怎么样** → Helicone（配 LiteLLM） - **想低成本验证、个人玩** → FreeLLMAPI（仅实验，别上生产） - **要 Mozilla 信任背书 + 预算控制** → any-llm-gateway 这一类工具的共同财富密码：**把"中转费"从企业的支出项，重新定义为你的收费项**——只要企业还在用多家大模型，AI 网关就是刚需，而开源让你能以零授权成本入局。 ## 参考来源 1. [GitHub - BerriAI/litellm: Python SDK, Proxy Server (AI Gateway)](https://github.com/BerriAI/litellm) — LiteLLM 官方仓库，100+ provider 统一网关，企业级能力与 star/活跃度数据来源 2. [GitHub - QuantumNous/new-api（原 Calcium-Ion/new-api）](https://github.com/Calcium-Ion/new-api) — 中文圈主流 LLM 网关 + 计费分账系统，AGPL-3.0 协议与商业授权说明 3. [Stop Juggling LLM APIs: 9 Gateways Ranked 2026 | TECHSY](https://techsy.io/en/blog/best-llm-gateway-tools) — 2026 年 LLM 网关横评，LiteLLM 与 OpenRouter 定位对比 4. [Control LLM Spend and Access with any-llm-gateway | Mozilla AI Blog](https://blog.mozilla.ai/control-llm-spend-and-access-with-any-llm-gateway/) — Mozilla AI 官宣开源预算管控网关，定位"成本与访问控制平面" 5. [Awesome AI Gateway — 100+ 网关对比 (cuihuan)](https://github.com/cuihuan/awesome-ai-gateway) — LiteLLM/Portkey/Helicone/Braintrust 等网关特性横向对比汇总 --- *本文由「51学通信」原创梳理，站长爱卫生（微信：gprshome201101）持续追踪开源 AI 工具的商业机会。通信技术干货与 AI 变现实战，欢迎关注交流。* > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。