四件AI水电煤，海外已跑一年

首页 › new-tools › 四件AI水电煤，海外已跑一年

聊海外新工具，多数账号只追“本周首发”。但真金白银的信息差，往往藏在第二眼里：有些工具发布时没蹭上热点，却在海外工程师的生产环境里默默跑了一年多，中文世界到今天连篇像样的教程都难找到。今天这四件——模型网关 LiteLLM、观测台 Langfuse、沙箱 E2B、极简 Agent 库 smolagents——就是这类。它们解决的是同一个阶段的问题：你的 AI 应用从 demo 走向上线之后，谁来管钱、管错、管安全。全文带命令，读完就能动手。

先泼盆冷水：别再无脑追“本周首发”

Product Hunt 每周上百个新品，大多数活不过一个季度。真正影响你效率的，是那些已经在别人生产环境里沉淀过的东西。这次入选标准只有三条：开源可自部署、海外团队真实在用、中文教程稀缺。四件工具各管一摊——接模型、看调用、跑代码、写动作。你可以把这套组合理解成 AI 应用的水电煤：平时没人提，停一秒就抓瞎。

第一件：LiteLLM——所有模型，一个门牌号

仓库：github.com/BerriAI/litellm（文档 docs.litellm.ai）

它把一百多家模型服务（OpenAI、Anthropic、Google、Bedrock、Ollama、vLLM，官方口径是 100+ providers）统一封装成 OpenAI 同款接口。你代码里只写一个 base_url，后面接谁、怎么切，全在网关配置里改。

三个真正值钱的点，国内教程很少讲：

虚拟 Key 与预算台账：给每个项目、每位同事发独立 key，设月度上限，花超自动熔断——不用再在群里喊“谁的 key 又跑爆了”。
故障自动切换：主模型超时或限流，自动 fallback 到你配的备胎，重试策略可配。做对外服务，这才是刚需。
成本归属：每次调用自动记账，按 key、按模型出报表，月底对账不靠猜。

价格：MIT 开源，自部署零成本；官方另有企业支持服务，小团队用不到。模型 API 费照付，网关本身免费。

国内对比：国内玩中转的基本都在用 One API，它解决的是“聚 key”；LiteLLM 往前多走一步，把预算、限流、降级、记账做进了网关。一句话：One API 是钥匙串，LiteLLM 是门禁系统。

适用人群：同时用两家以上模型服务的团队；给客户提供 AI 功能的独立开发者（限额+记账直接救命）。

上手两条命令，配一个 config.yaml：

model_list:
  - model_name: flagship
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: local
    litellm_params:
      model: ollama/llama3

pip install 'litellm[proxy]'
litellm --config config.yaml --port 4000

然后把任何 OpenAI SDK 的 base_url 指到 http://localhost:4000/v1，完事。

第二件：Langfuse——给每次 AI 调用装行车记录仪

官网：langfuse.com（仓库 github.com/langfuse/langfuse）

痛点一句话：AI 应用上线后，用户说“它答错了”，你问“当时 prompt 是什么、检索了什么、哪一步慢了”——没人答得上来。

Langfuse 是开源的 LLM 工程观测台：

全链路 trace：每次请求展开成一棵树——prompt 版本、检索内容、每次模型调用、工具调用、耗时、花费，全部可回放。
Prompt 版本管理：提示词当配置管，改一版打一个标签（production/staging），线上用的哪版一目了然，改坏了随时回滚。
数据集与评测：把坏 case 存成测试集，每次改提示词跑一遍回归。调 prompt 不再靠感觉。

价格：核心开源可自部署（docker compose 一把拉起）；云版有免费档，超了按量付费，具体额度以官网为准。

国内对比：多数团队的做法是自建日志表，或者干脆不记。自建的缺 UI 缺评测，Langfuse 等于把这套东西产品化了，而且支持 OpenTelemetry 接入，旧埋点不用重写。

适用人群：AI 应用已有真实用户的所有人。demo 阶段可以不装，上线第一天就该装。

git clone https://github.com/langfuse/langfuse
docker compose up -d

Python 侧 pip install langfuse，给关键函数挂上 @observe() 装饰器，trace 自动上报。

第三件：E2B 和 Fragments——给 AI 一间可以弄脏的厨房

官网：e2b.dev

你让 AI 写了段代码，敢在自己电脑上直接跑吗？E2B 提供云端隔离环境（底层用了 Firecracker 一类的微虚机），Python/JS SDK 几行代码给 agent 开一间“用完即焚”的厨房：装包、执行、出图，弄不脏你本地。官方云服务按沙箱时长计费、注册有免费额度；整套开源可自部署，但要自己养虚拟机环境，费点劲。

同仓库生态里还有个彩蛋 Fragments（github.com/e2b-dev/fragments）：开源版 Artifacts。自己填模型 key（各家都行），左侧聊天、右侧实时预览生成的应用，模板可换 React 等技术栈，一键部署到 Vercel。等于白嫖一个自己品牌的“AI 小工具生成器”，成本只剩模型 API 费。

国内对比：国内做“生成即预览”的都是各家闭门平台，想定制、想私有化、想挂自己域名，Fragments 是最短的开源路径。

适用人群：想给团队做内部工具生成入口的；做 AI 编程产品的；以及所有“AI 写的代码不敢直接跑”的谨慎人。

第四件：smolagents——让 Agent 直接写代码，而不是吐 JSON

仓库：github.com/huggingface/smolagents（2025 年初开源）

现在主流 Agent 的动作是：模型吐一段 JSON 参数 → 框架解析 → 调工具 → 再吐 JSON。HuggingFace 的 smolagents 换了条路（CodeAct 路线）：让模型直接写 Python 代码作为动作。循环、分支、组合调用，一段代码全搞定，省掉无数次“吐 JSON—解析—再吐”的往返。

卖点四个：

极简：官方宣传核心就一千来行代码，出了问题你能顺着读到底。
模型随便换：内置 HfApiModel，也能接 LiteLLMModel——正好骑在第一件工具上，全模型门牌号通用。
执行可切换：默认本地跑代码，文档里支持把执行器切成 E2B 远程沙箱，和第三件天然配套。
有背书：官方用它开源过 deep research 复刻（open-deep-research），发布时在 GAIA 基准的开源方案里表现抢眼。

价格：完全开源免费，模型 API 费自付。

国内对比：中文社区聊 Agent 基本是可视化编排和 JSON 工具调用两条路，“让模型写代码”的讨论还很少，典型的认知差。

适用人群：想真正搞懂 Agent 循环原理的；嫌大框架黑盒的；需要精细控制执行流程的工程师。

from smolagents import CodeAgent, LiteLLMModel

agent = CodeAgent(tools=[], model=LiteLLMModel(model_id="openai/gpt-4o"))
agent.run("写代码算出前100个质数并打印")

四件串起来，是这样一张图

flowchart TD
    DEV["你的应用<br/>smolagents写动作"] --> GW["LiteLLM统一网关"]
    GW --> M1["OpenAI"]
    GW --> M2["Anthropic"]
    GW --> M3["Ollama本地"]
    GW --> BILL["预算与台账"]
    DEV --> SBX["E2B沙箱<br/>执行代码"]
    SBX -->|结果回传| DEV
    GW --> LF["Langfuse追踪"]
    LF -->|成本与延迟报表| DEV

分工很清楚：smolagents 负责“想和写”，LiteLLM 负责“用谁家模型、花多少钱”，E2B 负责“安全地跑”，Langfuse 负责“事后看得见”。四件全开源，可以全部自部署。

信息差总结

你以为的	海外工程师的做法	差在哪
接模型要为每家 SDK 各写一遍	LiteLLM 统一成 OpenAI 格式	换模型改一行配置，还带预算台账
出了 bug 只能翻 print	Langfuse 全链路回放	每次调用可复盘、可回归评测
想要 Artifacts 得买旗舰会员	Fragments 开源自部署	成本只剩模型 API 费
Agent 全靠 JSON 工具调用	smolagents 让模型写代码	循环分支一段代码，更接近人的解法

行动指南

今晚就能做：装 LiteLLM，把手里的 key 写进一个 config.yaml，统一成 localhost:4000 一个入口，再配一条 fallback。
周末项目：docker compose 拉起 Langfuse，给现有调用挂上 @observe()，跑一周看数据，再决定要不要上云版。
下个迭代：Fragments 部署到 Vercel 当团队内部“小工具生成器”；玩透之后，用 smolagents 把一段纯手工流程改成 CodeAgent。

参考来源

LiteLLM 仓库：https://github.com/BerriAI/litellm
LiteLLM 文档：https://docs.litellm.ai
Langfuse 仓库：https://github.com/langfuse/langfuse
E2B Fragments 仓库：https://github.com/e2b-dev/fragments
smolagents 仓库：https://github.com/huggingface/smolagents

注：本文功能细节整理自各项目官方仓库与文档；星标数、价格与免费额度随时变动，动手前请以官网当前页面为准。

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入