首页 › new-tools › 别让脏PDF毁了RAG:三件免费解析工具

搞 RAG 的朋友,十个有九个在纠结“选哪个向量库”“用哪个 embedding 模型”,结果翻车翻在最不起眼的第一步:PDF 解析。你从企业文档库、年报、论文库里抓出来的 PDF,扫一扫就是一堆乱序文字,表格变成天书,公式变成乱码——喂给大模型之前就脏了,后面模型再强也是“垃圾进、垃圾出”。

海外 RAG 圈早就想明白这件事了:解析层不自己造轮子,直接上三件开源货,把“脏 PDF → 干净 Markdown”这条流水线包圆了。更妙的是,其中一件还是国产开源,海外程序员当宝贝用,国内很多人反而没听说过。这三件全免费,今天一次给你说透。

一、Docling:IBM 开源,许可证最干净的那件

仓库:github.com/docling-project/docling(IBM 研究院出品,2024 年开源)

Docling 是三件里“出身最好”的:IBM 研究院主导,走的是企业级路线。它最打动人的是“全”:PDF、Word、PPT、Excel、图片、HTML 全都能吃,吐出干净的 Markdown 或结构化 JSON。背后是一套版面分析模型加专门做表格结构还原的 TableFormer 模型——扫描件里那张跨页表格,它能给你按行列拼回去。

几个亮点:

价格:完全免费开源,本地跑,不吃你的 API 额度。机器有 GPU 更快,没 GPU 也能跑,只是慢点。

为什么值得关注:很多团队做 RAG 是要交付给客户的商业项目,GPL 类许可证会带来传染风险。Docling 的 MIT 许可证意味着你连这个问题都不用想——这也是它在海外企业圈渗透快的原因。

适合谁:要把公司历史文档库(Word/PPT/PDF 混着来)批量洗成语料的开发团队,尤其是做商业交付的。

二、Marker:个人项目逆袭,单文件转换的天花板

仓库:github.com/VikParuchuri/marker(作者 Vik Paruchuri,后来专门成立了公司 Datalab)

Marker 的故事本身就很“海外开源圈”:一个开发者自己写的 PDF 转 Markdown 工具,质量做到社区公认,直接做大成了创业公司 Datalab。它底层是作者自研的 Surya OCR 引擎,官方 README 称支持 90 多种语言,中文在列。

它的强项是单文件的转换质量和速度平衡——普通电子版 PDF 基本秒级转换,版面、标题层级、列表、表格的还原度在同类别开源项目里口碑很好。输出除了 Markdown,还支持 JSON 和 HTML,方便下游不同用法。

价格(这里有个认知差,很多人栽过):

为什么值得关注:个人项目能做到让 YC 系创业公司和独立开发者都默认选它,说明质量真的能打。另外它的许可证设计本身就是一门课:开源引流,商业授权和托管 API 收钱,路径清晰。

适合谁:个人开发者、独立做 RAG 项目的,装上就能用;公司要在产品里商用集成的,先算清楚 GPL 这笔账。

三、MinerU:国产开源,海外的“隐藏大牌”

仓库:github.com/opendatalab/MinerU(OpenDataLab / 上海人工智能实验室团队出品,2024 年开源)

这是今天的视角差主菜。海外 Reddit 和技术博客里讨论“中文文档、扫描书籍怎么解析”时,被反复点名的免费方案就是 MinerU——而它其实是我们自己的国产开源项目。国内读者天天用海外工具,这件“反向输出”的宝贝反而容易错过。

它的强项非常明确,专啃硬骨头:

价格:开源免费(许可证 AGPL-3.0,和 Marker 同样的逻辑——自己用免费,包装成对外服务卖要先想清楚授权问题)。不想装环境,官网 mineru.net 有免费在线体验,上传 PDF 直接出结果。

为什么值得关注:如果你要处理的语料是论文、教辅、扫描书、中英混排的技术手册,先试它,大概率惊喜。安装上,老版本的包名是 magic-pdf,2.x 起统一成了 mineru,具体以仓库 README 为准。

适合谁:处理学术文献、扫描古籍、中文重版面文档的团队和个人。

三件怎么选?一张表看懂

维度 Docling Marker MinerU
出品方 IBM 研究院 Datalab(个人项目长大) 上海AI实验室
许可证 MIT GPL-3.0 AGPL-3.0
商用集成 随便用 云服务需商业授权 对外服务需注意授权
强项 格式全、生态齐 单文件质量、速度 公式、复杂版面、中文
中文支持 可用 良好 最好
上手方式 pip install docling pip install marker-pdf pip install mineru

国内对照:商业方案有合合信息的 TextIn、阿里云/百度文档智能这类按页计费的 SaaS(价格以各官网为准),解析质量也不错,但语料量大时账单会滚起来。这三件开源货等于把这笔钱直接省了——代价是自己花点算力和折腾劲。

装进你的 RAG 流水线

整个链路长这样,解析层就是那个被大多数人忽略的入口:

flowchart TD
    A["一堆脏PDF"] --> B["解析层 三选一"]
    B --> C["Docling<br/>MIT 可商用"]
    B --> D["Marker<br/>GPL 自用免费"]
    B --> E["MinerU<br/>AGPL 公式强"]
    C --> F["统一 Markdown"]
    D --> F
    E --> F
    F --> G["清洗去页眉页脚"]
    G --> H["切块 Chunking"]
    H --> I["向量化入库"]
    I --> J["检索 RAG"]
    J --> K["回答有据可查"]

信息差总结

你可能以为的 实际情况
RAG 的功夫都在模型和向量库 第一步的解析层脏了,后面全白搭
PDF 转 Markdown 要买 SaaS 按页付费 三件开源货本地免费跑,量大也不心疼
解析工具随便拿去商用 MIT/GPL/AGPL 三种许可,坑完全不同
好用的文档解析都产自海外 海外圈点名的 MinerU 是国产开源

行动指南

  1. 今天就能做:挑 5 页你最烂的扫描 PDF(有表格、有公式的那种),分别到三个项目的在线体验或本地跑一遍,横向对比表格和公式的还原度——半小时定下你的主力工具
  2. 三条安装命令:pip install docling、pip install marker-pdf、pip install mineru(具体参数以各自 README 为准)
  3. 接入现有流水线:用 Docling 的直接看它官方的 LangChain / LlamaIndex 适配器,几乎零胶水代码
  4. 商用前必做:回头查一遍这三个许可证(MIT / GPL-3.0 / AGPL-3.0),确认你的用法不踩授权坑
  5. 中文语料优先级:重公式重版面的先试 MinerU,格式杂的企业文档先试 Docling

参考来源

  1. Docling 官方仓库:https://github.com/docling-project/docling
  2. Marker 官方仓库:https://github.com/VikParuchuri/marker
  3. MinerU 官方仓库:https://github.com/opendatalab/MinerU
  4. MinerU 在线体验:https://mineru.net
  5. Datalab(Marker 商业版与 API):https://www.datalab.to

    本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

任务汇报

3. 注意事项(If applicable) - 反幻觉要求与“素材必须来自真实抓取”存在环境性冲突:本轮以“高置信稳定事实 + 文内对冲表述”折中处理,未编造精确数字,但严格意义上未做到实时交叉验证 - GPL/AGPL 许可证描述为通用性概括,涉及具体商用场景请以项目 LICENSE 文件为准

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入