搞 RAG 的朋友，十个有九个在纠结“选哪个向量库”“用哪个 embedding 模型”，结果翻车翻在最不起眼的第一步：PDF 解析。你从企业文档库、年报、论文库里抓出来的 PDF，扫一扫就是一堆乱序文字，表格变成天书，公式变成乱码——喂给大模型之前就脏了，后面模型再强也是“垃圾进、垃圾出”。 海外 RAG 圈早就想明白这件事了：解析层不自己造轮子，直接上三件开源货，把“脏 PDF → 干净 Markdown”这条流水线包圆了。更妙的是，其中一件还是国产开源，海外程序员当宝贝用，国内很多人反而没听说过。这三件全免费，今天一次给你说透。 ## 一、Docling：IBM 开源，许可证最干净的那件 **仓库**：github.com/docling-project/docling（IBM 研究院出品，2024 年开源） Docling 是三件里“出身最好”的：IBM 研究院主导，走的是企业级路线。它最打动人的是“全”：PDF、Word、PPT、Excel、图片、HTML 全都能吃，吐出干净的 Markdown 或结构化 JSON。背后是一套版面分析模型加专门做表格结构还原的 TableFormer 模型——扫描件里那张跨页表格，它能给你按行列拼回去。 几个亮点： - **一键命令行**：`pip install docling` 装完，一条命令就能把文件夹里的 PDF 批量转成 Markdown，不用写代码 - **生态适配齐**：官方直接提供了 LangChain 和 LlamaIndex 的接入适配器，转完的文档可以直接进 RAG 流水线，不用自己写胶水代码 - **许可证 MIT**：三件里唯一的最宽松许可，闭源商业产品里随便集成，不用担心律师函 **价格**：完全免费开源，本地跑，不吃你的 API 额度。机器有 GPU 更快，没 GPU 也能跑，只是慢点。 **为什么值得关注**：很多团队做 RAG 是要交付给客户的商业项目，GPL 类许可证会带来传染风险。Docling 的 MIT 许可证意味着你连这个问题都不用想——这也是它在海外企业圈渗透快的原因。 **适合谁**：要把公司历史文档库（Word/PPT/PDF 混着来）批量洗成语料的开发团队，尤其是做商业交付的。 ## 二、Marker：个人项目逆袭，单文件转换的天花板 **仓库**：github.com/VikParuchuri/marker（作者 Vik Paruchuri，后来专门成立了公司 Datalab） Marker 的故事本身就很“海外开源圈”：一个开发者自己写的 PDF 转 Markdown 工具，质量做到社区公认，直接做大成了创业公司 Datalab。它底层是作者自研的 Surya OCR 引擎，官方 README 称支持 90 多种语言，中文在列。 它的强项是**单文件的转换质量和速度平衡**——普通电子版 PDF 基本秒级转换，版面、标题层级、列表、表格的还原度在同类别开源项目里口碑很好。输出除了 Markdown，还支持 JSON 和 HTML，方便下游不同用法。 **价格**（这里有个认知差，很多人栽过）： - 开源版免费，自用、公司内部转换都没问题 - 但它的许可证是 **GPL-3.0**——如果你拿它包装成云服务对外卖，按 GPL 的要求你的服务端代码需要开源，否则就得找 Datalab 买商业授权。Datalab 自己也直接卖托管 API，按量付费，懒得自己部署的可以直接掏钱用官方服务 **为什么值得关注**：个人项目能做到让 YC 系创业公司和独立开发者都默认选它，说明质量真的能打。另外它的许可证设计本身就是一门课：开源引流，商业授权和托管 API 收钱，路径清晰。 **适合谁**：个人开发者、独立做 RAG 项目的，装上就能用；公司要在产品里商用集成的，先算清楚 GPL 这笔账。 ## 三、MinerU：国产开源，海外的“隐藏大牌” **仓库**：github.com/opendatalab/MinerU（OpenDataLab / 上海人工智能实验室团队出品，2024 年开源） 这是今天的视角差主菜。海外 Reddit 和技术博客里讨论“中文文档、扫描书籍怎么解析”时，被反复点名的免费方案就是 MinerU——而它其实是我们自己的国产开源项目。国内读者天天用海外工具，这件“反向输出”的宝贝反而容易错过。 它的强项非常明确，专啃硬骨头： - **公式转 LaTeX**：数学论文、理工科教材里的公式，它能还原成可用的 LaTeX，而不是一团乱码 - **复杂版面**：双栏排版、竖排、页眉页脚混杂的扫描书，阅读顺序还原是它的看家本领 - **中英混排友好**：对中文语料的支持天然比海外工具用心 - **输出 Markdown 和 JSON**，新版还加了视觉大模型后端（vlm 模式），难啃的页面可以切换更强的解析路线 **价格**：开源免费（许可证 AGPL-3.0，和 Marker 同样的逻辑——自己用免费，包装成对外服务卖要先想清楚授权问题）。不想装环境，官网 mineru.net 有免费在线体验，上传 PDF 直接出结果。 **为什么值得关注**：如果你要处理的语料是论文、教辅、扫描书、中英混排的技术手册，先试它，大概率惊喜。安装上，老版本的包名是 magic-pdf，2.x 起统一成了 mineru，具体以仓库 README 为准。 **适合谁**：处理学术文献、扫描古籍、中文重版面文档的团队和个人。 ## 三件怎么选？一张表看懂 | 维度 | Docling | Marker | MinerU | |---|---|---|---| | 出品方 | IBM 研究院 | Datalab（个人项目长大） | 上海AI实验室 | | 许可证 | MIT | GPL-3.0 | AGPL-3.0 | | 商用集成 | 随便用 | 云服务需商业授权 | 对外服务需注意授权 | | 强项 | 格式全、生态齐 | 单文件质量、速度 | 公式、复杂版面、中文 | | 中文支持 | 可用 | 良好 | 最好 | | 上手方式 | pip install docling | pip install marker-pdf | pip install mineru | 国内对照：商业方案有合合信息的 TextIn、阿里云/百度文档智能这类按页计费的 SaaS（价格以各官网为准），解析质量也不错，但语料量大时账单会滚起来。这三件开源货等于把这笔钱直接省了——代价是自己花点算力和折腾劲。 ## 装进你的 RAG 流水线 整个链路长这样，解析层就是那个被大多数人忽略的入口： ```mermaid flowchart TD A["一堆脏PDF"] --> B["解析层 三选一"] B --> C["Docling
MIT 可商用"] B --> D["Marker
GPL 自用免费"] B --> E["MinerU
AGPL 公式强"] C --> F["统一 Markdown"] D --> F E --> F F --> G["清洗去页眉页脚"] G --> H["切块 Chunking"] H --> I["向量化入库"] I --> J["检索 RAG"] J --> K["回答有据可查"] ``` ## 信息差总结 | 你可能以为的 | 实际情况 | |---|---| | RAG 的功夫都在模型和向量库 | 第一步的解析层脏了，后面全白搭 | | PDF 转 Markdown 要买 SaaS 按页付费 | 三件开源货本地免费跑，量大也不心疼 | | 解析工具随便拿去商用 | MIT/GPL/AGPL 三种许可，坑完全不同 | | 好用的文档解析都产自海外 | 海外圈点名的 MinerU 是国产开源 | ## 行动指南 1. **今天就能做**：挑 5 页你最烂的扫描 PDF（有表格、有公式的那种），分别到三个项目的在线体验或本地跑一遍，横向对比表格和公式的还原度——半小时定下你的主力工具 2. **三条安装命令**：`pip install docling`、`pip install marker-pdf`、`pip install mineru`（具体参数以各自 README 为准） 3. **接入现有流水线**：用 Docling 的直接看它官方的 LangChain / LlamaIndex 适配器，几乎零胶水代码 4. **商用前必做**：回头查一遍这三个许可证（MIT / GPL-3.0 / AGPL-3.0），确认你的用法不踩授权坑 5. **中文语料优先级**：重公式重版面的先试 MinerU，格式杂的企业文档先试 Docling ## 参考来源 1. Docling 官方仓库：https://github.com/docling-project/docling 2. Marker 官方仓库：https://github.com/VikParuchuri/marker 3. MinerU 官方仓库：https://github.com/opendatalab/MinerU 4. MinerU 在线体验：https://mineru.net 5. Datalab（Marker 商业版与 API）：https://www.datalab.to > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 ### 任务汇报 **3. 注意事项（If applicable）** - 反幻觉要求与“素材必须来自真实抓取”存在环境性冲突：本轮以“高置信稳定事实 + 文内对冲表述”折中处理，未编造精确数字，但严格意义上未做到实时交叉验证 - GPL/AGPL 许可证描述为通用性概括，涉及具体商用场景请以项目 LICENSE 文件为准 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。