搭过RAG知识库的人十有八九踩过这个坑：模型明明不笨，问答却一塌糊涂。排查半天，发现根因不在模型——是喂进去的PDF早就烂了。双栏排版的论文被读成串行天书，表格碎成断行文字，扫描件更是整页糊成图。海外圈2024年下半年开始悄悄卷起一个「文档解析」（Document Parsing）赛道，专门解决「给AI喂饭」这最后一公里。到2026年，这条赛道已经是Agent落地的基础设施，但中文圈至今没有一篇系统的拆解。今天把三个最有代表性的工具讲透：IBM的Docling、AI2的olmOCR、专啃网站的Firecrawl，全部开源可白嫖。
仓库：github.com/DS4SD/docling（若已迁移，GitHub搜Docling即可）
Docling是IBM研究院2024年开源的项目，MIT协议，商用无负担。它解决的痛点很具体：企业里真正要进知识库的不是干净的网页，而是合同PDF、部门DOCX、十年前的PPT汇报、随手拍的发票照片。Docling把这些全吃下去，吐出带标题层级、表格结构、阅读顺序的Markdown或JSON——注意「阅读顺序」这三个字，双栏文档能不能读对顺序，直接决定RAG召回质量。
操作只需三步：
pip install docling
docling convert 合同.pdf
# 或者用Python API做批量
Python侧核心就三行：from docling.document_converter import DocumentConverter，建一个converter，converter.convert("文件路径")，然后export_to_markdown()拿结果。它原生支持PDF、DOCX、PPTX、XLSX、图片、HTML，还官方提供LangChain和LlamaIndex的集成包，塞进现有RAG管线几乎零改造。
为什么值得关注：完全本地离线运行，数据不出门。国内做企业知识库的团队，最常卡在「财务合同不能传第三方云API」这一条上。Docling这条路径一分钱不花，合规审查也好过。
与国内对比：国内对位产品是上海AI Lab的MinerU（github.com/opendatalab/MinerU），2024年开源，中文扫描件识别强。我的建议是都装上，拿自家最难的十页文档各跑一遍——西文企业文档、复杂Office格式，Docling覆盖面更广；纯中文扫描件，MinerU往往更稳。
适用人群：企业内网知识库、合规敏感行业（金融/医疗/法务）、不想为解析层付月费的独立开发者。
仓库：github.com/allenai/olmocr
olmOCR来自AI2（Allen Institute for AI，艾伦人工智能研究所，非营利机构），2025年初开源。它和传统OCR的思路完全不同：不是「逐个字符识别」，而是用视觉语言模型整页「看懂」版面再转写成Markdown。所以双栏论文、行内公式、跨页表格、脚注引用这些传统OCR的重灾区，它处理得像模像样。AI2还顺手开源了训练数据集olmOCR-mix，科研圈可以直接复用。
操作路径（需要一张GPU卡，底层用vLLM跑模型）：
pip install olmocr
olmocr pipeline ./workdir ./论文.pdf
跑完在workdir里拿结构化的文本结果，批量论文就是往pipeline里堆文件。
为什么值得关注：量化研究、专利分析、文献综述团队要把成千上万篇arxiv论文灌进RAG，用传统OCR灌进去的基本是垃圾——公式变乱码、表格丢结构、阅读顺序错乱，检索自然答非所问。olmOCR是目前开源阵营里针对这个场景最专精的方案，成本只有电费。
代价要说清楚：它需要GPU。没有显卡的话，要么租按小时的云GPU（跑一批论文通常花不了几美元），要么退回Docling走CPU路线。
适用人群：科研院所、投研团队、专利律师助理、做学术论文类产品的开发者。
官网：firecrawl.dev｜仓库：github.com/firecrawl/firecrawl
前两个工具啃文档，Firecrawl啃的是整个互联网。它的定位一句话：把任意网页、乃至整站，爬下来直接变成LLM-ready的Markdown或结构化JSON。区别于八爪鱼这类面向「人看报表」的老一代采集器，Firecrawl的输出天生面向模型：自动剔除导航栏、广告、页脚噪音，保留正文语义结构。
三种用法按投入度排：
firecrawl-py，scrape_url()抓单页，crawl()跟着链接爬整站，几行代码拿到干净Markdown；价格是「免费额度起步、按积分充值」的云服务模式（注册送的免费页数和付费档位以官网为准，经常调整）。个人做验证基本花不到钱，上量后按页付费也比雇人整理便宜得多。
为什么值得关注：做竞品监控、行业情报站、目录站（Niche Site）的团队，过去要写爬虫、洗数据、配人肉编辑三道工序，现在一个crawl请求到LLM总结一条龙。海外大量一人公司的「AI情报自动化」生意，底层都有它的影子。
适用人群：出海开发者、做数据情报产品的独立团队、想让Agent实时读网页的重度用户。
把视野拉高，2025年3月Mistral发布Mistral OCR云API，定价约1美元处理1000页，直接把「每页解析成本」打到一分钱级别，并宣称在公式和表格基准上压过Google、微软的同类接口——一时间「最便宜最强OCR」刷屏HN。加上LlamaIndex家的LlamaParse（云服务，有免费页数额度，适合配合LlamaCloud做全套RAG）、Datalab的Marker（开源老牌，GPL协议，商用需注意授权），这条赛道2026年的格局大致如下：
| 工具 | 形态 | 适合场景 | 成本 |
|---|---|---|---|
| Docling | 开源本地 | 企业混合文档 | 免费（CPU可跑） |
| olmOCR | 开源+GPU | 学术PDF批量 | 电费/GPU租金 |
| Firecrawl | 开源+云 | 整站抓取 | 免费额度+按量 |
| MinerU | 开源本地 | 中文扫描件 | 免费 |
| Mistral OCR | 云API | 大批量快速过稿 | 约$1/千页 |
| Marker | 开源 | 通用PDF转MD | 免费，商用看协议 |
底层逻辑一句话：Agent要从「demo玩具」变「生产员工」，就得啃企业真实世界里的脏文档；解析层过去是RAG教程里一笔带过的配角，现在是整个系统的地基。地基烂，上层全白搭。
flowchart TD
A["原始脏数据<br/>PDF 扫描件 网页"] --> B["解析层"]
B --> C["Docling<br/>企业文档"]
B --> D["olmocr<br/>学术论文"]
B --> E["Firecrawl<br/>整站抓取"]
C --> F["干净的结构化文本<br/>Markdown JSON"]
D --> F
E --> F
F --> G["切块与向量化"]
G --> H["RAG 知识库"]
G --> I["Agent 按需调用"]
| 你以为 | 实际上 |
|---|---|
| RAG答得差，是模型不行 | 八成是文档解析先烂了 |
| 解析PDF用老OCR库凑合 | 新解析器输出结构+阅读顺序，召回率差一截 |
| 好的解析器都要花钱 | Docling/olmOCR本地免费跑，成本是电费 |
| 爬网页还得写爬虫 | Firecrawl一句话爬整站直达Markdown |
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。