导语: 国内开发者聊AI,聊的十有八九是模型和提示词。但海外独立开发者真正拉开差距的,是底下那层“水电煤”:模型怎么统一调用、预算怎么管住、Prompt上线前怎么体检、AI写的代码去哪安全地跑。这四件事海外各有一件顺手的开源货,免费档就够个人和小团队用,而国内社群里几乎没人系统讲过。今天这篇把这套底座一次拆给你——每个都给官网、给用法、给和国内方案的对比,看完当天就能搭起来。
透明声明:本篇是“认知差+价格差”角度的海外工具盘点(这四件都已稳定运行、海外生产环境大量在用,但对多数国内读者仍是新工具),不是本周首发榜。发稿当日检索通道受限,文中不标Star数、不写具体价目,一切以官网实时信息为准。
官网: https://openrouter.ai
它做的事一句话说清:把OpenAI、Anthropic、Google、Meta、Mistral等几百家供应商的模型,聚合成一个OpenAI兼容的API。你注册拿一个Key,代码里改个模型名,就能从GPT切到Claude再切到Llama,不用去每家开账号、管一堆Key。
为什么值得国内用户关注,三个点:
:free后缀的版本,不充钱也能调(有速率和额度限制,具体以官网为准)。对新模型想“先摸一手”的人来说,这是海外公认的试模入口。和国内方案对比: 国内社区流行的是开源的one-api(https://github.com/songquanpeng/one-api),自己部署自己聚合。one-api胜在数据完全自持、国内渠道充值方便;OpenRouter胜在模型全、上新快、免费档多、不用自己维护。注意: OpenRouter按量充值,需要国际支付方式,国内用户下手前先确认自己的付款通道;涉及数据出境,企业用户请先过合规。
适用人群: 想低成本试遍新模型的个人开发者;不想绑死单一供应商的AI应用作者。
官网/仓库: https://github.com/BerriAI/litellm
如果说OpenRouter是别人帮你管模型,LiteLLM就是你自己当网关。它是MIT协议的开源项目,两个形态:
completion格式。以后换模型,改的是配置不是代码。为什么值得关注: 很多小团队的真实痛点不是“没模型用”,而是“账单失控”。某位同事一句“我试试批量任务”,月底账单多出几百美金,查都没法查。LiteLLM把这事变成了标准操作:max_budget设上去,超了自动断。这套能力在海外是团队用AI的标配,国内还停留在“老板的Key大家共用”的原始阶段。
价格: 开源自托管免费;官方云托管版收费(价目见官网)。
和国内方案对比: one-api也能做多Key管理,但偏“渠道聚合”;LiteLLM的重心在企业治理——预算、审计、限速、故障转移做得细。个人用one-api够,正经团队上LiteLLM。
适用人群: 带团队用AI的开发组长;要给内部平台做统一模型出口的平台工程师。
仓库: https://github.com/promptfoo/promptfoo
这是四件里认知差最大的一件。国内绝大多数人调Prompt的方式是:改一版→手动试两句→感觉还行→上线。海外工程团队早就换了一套打法:Prompt当代码,用例当测试,评测进CI。promptfoo就是这套打法的代表工具。
具体怎么用(三步):
promptfooconfig.yaml:里面列出你的提示词变体、测试用例(用户输入)、以及断言方式——可以是关键词包含、可以是正则,也可以用llm-rubric让另一个模型当裁判打分。npx promptfoo eval:它把每条提示词×每个用例×每个模型的组合全部跑一遍,生成一张对比矩阵。npx promptfoo view:浏览器打开Web视图,红绿一目了然,哪版提示词在哪个case上翻车看得清清楚楚。它还有个狠功能:红队扫描。自动生成越狱、提示注入、敏感信息套取类攻击用例,测你的应用扛不扛得住。这一步国内做AI应用的公司几乎没人系统做,而海外这是上线前的常规动作。
价格: 开源核心免费;红队托管服务收费。
和国内方案对比: 国内基本靠手测+表格,或者用Dify这类平台的内置调试。promptfoo的区别是可版本化、可自动化——接进GitHub Actions,每次改提示词自动回归测试,提示词改坏了CI直接红灯。
适用人群: 要把AI功能正经上生产的后端和全栈工程师;被“提示词越改越差”折磨过的人。
官网/仓库: https://e2b.dev | https://github.com/e2b-dev/E2B
做Agent的开发者都会撞上同一堵墙:AI生成了代码,你在哪跑?直接在自己服务器上exec,等于把root权限交给一个会胡说的模型。E2B把这事儿做成了API:一键起一个隔离的云端沙箱,让AI的代码在里面跑,用完即焚。
它能干什么:
create一个沙箱,秒级启动。价格: 开源可自部署;官方云服务有免费额度,够个人开发验证想法。
和国内方案对比: 国内的常规做法是自己维护Docker容器池,或者用云函数(阿里云FC、腾讯云SCF)凑合。前者运维重,后者冷启动和文件系统限制多。E2B是海外Agent基建潮里长出来的专用件,专为“AI代码执行”这个场景优化。国内对应需求正在爆发(各种数据分析Agent、报表Agent),但专用沙箱服务基本空白。
适用人群: 做Coding Agent、数据分析Agent、AI报表的团队;任何需要“安全执行不可信代码”的场景。
单看每件都只是工具,拼起来才是一套完整的AI应用底座:
flowchart TD
A["你的应用<br/>App或Agent"] --> B["LiteLLM 网关<br/>统一接口和预算"]
B --> C["OpenRouter<br/>一个Key调百模"]
C --> D["各家大模型<br/>含免费档"]
A --> E["promptfoo<br/>上线前体检"]
E -->|用例不达标| A
A --> F["E2B 沙箱<br/>跑AI生成的代码"]
一次请求的完整链路:你的应用先过LiteLLM(预算和统一格式),再到OpenRouter(选模型、故障转移),需要执行代码时丢进E2B沙箱;而每次你要改提示词,先过promptfoo的用例矩阵,绿灯才准上线。这套组合在海外独立开发者里已经是相当标准的搭法。
| 环节 | 你可能以为的做法 | 海外主流玩法 |
|---|---|---|
| 调模型 | 每家开账号、代码里写死 | OpenRouter一个Key通吃,免费档先试 |
| 管预算 | 老板的Key大家共用 | LiteLLM人手一个虚拟Key,超支自动断 |
| 调Prompt | 改一版手动试两句 | promptfoo用例矩阵+CI回归,红队扫描 |
| 跑AI代码 | 服务器直接exec或自建Docker池 | E2B一次性沙箱,用完即焚 |
:free模型把你现有Demo的调用跑通,感受“改个模型名切供应商”。pip install litellm[proxy],Docker起一个本地网关,给自己和同事各发一个带预算的虚拟Key。pip install e2b-code-interpreter,把AI生成代码的执行环节迁进沙箱。注:因发稿当日检索通道受限,本文工具信息均来自作者长期跟踪的开源项目与官方站点,未标注实时Star数与价目,请以官网最新信息为准。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
