首页 › new-tools › 海外在用没人聊:AI流水线3件套

说明:本轮检索通道受限,未能实时抓取本周榜单,所以不追“本周新品”,改打一个更稳的信息差——时间差+价格差。下面这三个工具都是海外工程圈已在生产环境跑起来、GitHub 上有官方组织长期维护的开源项目,但在国内技术社区的讨论热度与其成熟度严重不匹配。价格与 API 细节请以官方文档为准,文中只写长期稳定、可验证的事实。

为什么是这三个,而不是又一份“新品榜”?

每周刷 Product Hunt、GitHub Trending 的人很多,但绝大多数“新品”活不过三个月。真正拉开差距的,是那些已经过了早期混乱期、被海外中大型团队验证过、但国内还没形成讨论氛围的工具。

我把过去一段时间散落在 Hacker News 评论区、工程博客和 Reddit 讨论里的信号汇总了一下,筛出三个定位互补的选手,拼成一条完整的私有化 AI 数据流水线:

  1. Docling — 把 PDF、Word、PPT 这些“脏文档”解析成模型能吃的结构化数据
  2. PydanticAI — 让大模型输出必须符合你定义的类型,接进业务系统不炸
  3. Windmill — 把上面两步编排成定时任务,还能一键生成内部操作界面

三个全部开源、全部可以自托管,数据不出内网。对很多受合规约束的公司来说,“能不能私有部署”比“模型榜单第一”重要十倍,而这恰恰是国内教程最少聊的角度。

先看整条流水线长什么样:

flowchart LR
    A[合同/财报/报告<br>PDF·DOCX·PPTX] --> B[Docling<br>文档解析引擎]
    B --> C[Markdown / JSON<br>表格·布局·阅读顺序]
    C --> D[PydanticAI<br>结构化抽取 Agent]
    D --> E[Pydantic 校验通过的<br>业务对象]
    E --> F[Windmill<br>定时编排 + 内部界面]
    F --> G[(数据库 / 邮件 /<br>内部审批看板)]
    F -.失败重试·告警.-> D

一、Docling:IBM 开源的文档解析引擎

仓库与文档:github.com/docling-project/docling(文档站 docling-project.github.io/docling),IBM 研究院出品,Apache 2.0 协议。

它解决什么问题

做 RAG 的人都知道,八成的坑不在模型,在文档解析:双栏 PDF 解析出来语序错乱、表格变成一堆乱码、公式直接消失。你喂给模型一坨破碎文本,再贵的模型也救不回来。

Docling 干的就是这一件事:把 PDF、DOCX、PPTX、XLSX、图片等格式解析成结构化文档对象,再导出为 Markdown、JSON 或 HTML。它的特点是理解版面——表格保留行列结构、识别阅读顺序、公式单独处理,而不是简单地逐页抽文字。

上手几乎零门槛,pip install docling 之后三行代码:

from docling.document_converter import DocumentConverter

converter = DocumentConverter()
result = converter.convert("财报.pdf")
print(result.document.export_to_markdown())

也提供命令行方式批量转换整个目录,官方仓库还给出了与主流 RAG 框架对接的适配示例。此外 IBM 配套开源了轻量的视觉解析模型( Granite-Docling 系列),在 CPU 上也能跑,这对没有 GPU 预算的团队很关键。

和国内方案怎么比

国内做 PDF 解析最出名的是 OpenDataLab 的 MinerU,OCR 路线,中文扫描件场景表现很好。两者不是替代关系:电子版文档(Word、原生 PDF)为主选 Docling,扫描件和中文古籍类重 OCR 的场景 MinerU 更合适。很多团队的务实做法是两个都部署,按文件类型路由。

而如果你在用按页收费的商业 API(国内一些文档解析服务按页计费),一个每周处理几千页的场景,一年下来是笔不小的钱。Docling 自托管零授权成本,这是它最直接的价格差。

适用人群


二、PydanticAI:给 LLM 输出上“类型锁”

官网与仓库:ai.pydantic.dev,github.com/pydantic/pydantic-ai,由 Pydantic 作者 Samuel Colvin 团队出品——就是 Python 世界里 FastAPI 底下那个 Pydantic。

它解决什么问题

国内教程里 agent 框架言必称 LangChain,但工程圈对它的抱怨一直没停过:抽象层太厚、调试像黑盒。PydanticAI 的思路完全相反——把 agent 当成 FastAPI 的路由来写:

对写惯了 FastAPI 的人来说,学习成本约等于零。最典型的用法——合同/发票结构化抽取:

from pydantic import BaseModel
from pydantic_ai import Agent

class Invoice(BaseModel):
    vendor: str
    total: float
    due_date: str

agent = Agent('openai:gpt-4o', output_type=Invoice)
# 旧版本参数名是 result_type,新版改为 output_type
result = agent.run_sync(invoice_text)
print(result.output)

字段缺失或类型不对,框架会拿着校验错误让模型重试。这一步是整条流水线的质量阀门:Docling 解析出的文本进来,出去的是经过类型校验的业务对象,下游数据库和报表直接可用。

和国内主流选择的对比

LangChain 生态大、组件全,适合快速实验;PydanticAI 反着来,砍掉魔法、押注类型安全,更适合要长期维护的生产服务。如果你团队用 Go,可以关注 Eino;用 Java 则是 Spring AI。但 Python 团队里,PydanticAI 可能是“最快能上线、最不容易半夜告警”的那个。它背后的商业产品是同门的 Logfire(可观测平台),框架本身 MIT 开源,没有使用费。

适用人群


三、Windmill:把脚本变成工作流和内部工具

官网与仓库:windmill.dev,github.com/windmill-labs/windmill,AGPLv3 开源,自托管社区版免费,另有商业云版与企业版。

它解决什么问题

前面两步写成了 Python 脚本,然后呢?手动跑?塞进 crontab?出错没人知道?

国内做自动化的第一反应是 n8n,做内部界面第一反应是 Retool 或国产低代码。Windmill 是一个工程师范儿的三合一:

关键差别在于:n8n 的节点是官方封装的连接器,逻辑想复杂了就难受;Windmill 的节点就是你自己的代码,没有任何包装限制。对程序员来说,它是“能托管的、有界面的、带审计的 crontab + 轻量 Retool”。

自托管用官方提供的 docker compose 文件一条命令拉起整套服务,脚本代码可以同步存到 Git 仓库里走代码评审——这一点在需要合规审计的公司里是硬需求。

和国内工具的对比

适用人群


信息差总结

维度 大多数人知道的 这篇文章告诉你的
文档解析 喂原始 PDF 给模型 / 按页买商业 API Docling 开源自托管,版面+表格结构化,零授权费
Agent 框架 LangChain 一把梭 PydanticAI 类型锁输出,FastAPI 心智,生产更稳
自动化编排 n8n / 云函数手搓 Windmill 代码即节点,白送界面、调度、审计
组合打法 工具单点收藏吃灰 三件套拼成一条合规的私有化数据流水线
成本 订阅一堆 SaaS 全链路开源,一台内网机器就能跑

行动指南

这个周末就能动手,三步走:

  1. 第 1 步(约 20 分钟):pip install docling,拿一份你手头最恶心的 PDF 跑通 export_to_markdown(),亲眼看看表格解析效果
  2. 第 2 步(约 1 小时):pip install pydantic-ai,定义一个你业务里的 Pydantic 模型(比如发票、合同关键条款),把第 1 步的 Markdown 喂进去,观察校验失败时的自动重试
  3. 第 3 步(约半天):用 docker compose 自托管 Windmill,把前两步的脚本注册成 flow,加一个每周定时触发,再拖一个表单界面发给同事试用

跑通之后再考虑接数据库通知、审批流、邮件推送这些下游。先让流水线流起来,再谈优化。

一个提醒:PydanticAI 迭代较快,参数命名在新旧版本间有过变更(如 result_type → output_type),动手前以官方文档的当前版本为准;Docling 对超大扫描件的内存占用需要留意,生产环境建议配合队列限流。

参考来源

本轮检索通道受限,以下均为长期稳定的官方站点与仓库直达链接,价格、版本、API 细节请以官方文档当前内容为准:

  1. Docling 官方仓库:https://github.com/docling-project/docling
  2. Docling 文档站:https://docling-project.github.io/docling
  3. PydanticAI 官网:https://ai.pydantic.dev
  4. PydanticAI 仓库:https://github.com/pydantic/pydantic-ai
  5. Windmill 官网:https://www.windmill.dev
  6. Windmill 仓库:https://github.com/windmill-labs/windmill

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入