做RAG、搭知识库、喂Agent的人，八成都在同一件事上翻过车：一份漂亮PDF塞进大模型，出来的全是碎掉的乱码。双栏排版被拦腰剪断，表格变成天书，公式变成问号。然后大家开始怪模型不行、怪Embedding不行、怪向量库选错了——其实九成情况，是「第一公里」的文档解析就喂坏了。

这一期讲的信息差是：海外开发者圈早就磨好了四把专门啃PDF的开源刀，全部免费可自托管，国内聊的人却很少。更讽刺的是，其中一把刀还是中国团队打的，在海外被当宝贝，国内反而没几个人正经用起来。

先搞清楚：为什么PyPDF2救不了你

AI吃文档，吃的不是「人眼看到的版面」，而是「机器读到的文本流」。PDF这种格式天生是给打印机看的，它只记录「这个字符画在哪个坐标」，不记录阅读顺序。所以普通提取器会遇到三个死穴：

1. 双栏论文：先读左栏一半、右栏一半，再跳回左栏，句子全串了；
2. 表格：单元格之间的视觉对齐关系丢失，变成一堆孤立数字；
3. 公式与扫描件：公式直接蒸发，扫描件根本不是文字而是图片。

解法只有一个：用专门的文档解析器，先做版面分析（layout model认出标题、段落、表格、图注），再做结构化还原，最后输出干净的Markdown或JSON。这就是海外这波工具干的事。

第一把刀：Marker——速度型选手

• 仓库：github.com/VikParuchuri/marker
• 玩法：pip install marker-pdf，然后一条命令 marker_single 你的文件.pdf --output_dir out，Markdown直接落地
• 价格：开源版GPL协议自用免费；批量商用或要更高并发，走作者公司Datalab（datalab.to）的付费API
• 为什么值得关注：作者是Kent Curtis？不，是Vik Paruchuri——他一个人写的这套解析管线，曾是HN上公认的「PDF转Markdown质量天花板」。有GPU时速度飞快，适合批量吞吐，输出除了Markdown还带JSON，方便程序二次加工
• 国内对比：国内同类需求一般上百度、腾讯的按次计费OCR接口，或者买TextIn这类商业服务。Marker的好处是本地跑、数据不出门、边际成本约等于电费
• 适合谁：手头有成百上千份PDF要批量转Markdown的后端和数据工程师

注意坑位：GPL协议对「集成进闭源商业产品」不友好，商用前看清楚Datalab的授权条款，条款以官网为准。

第二把刀：Docling——IBM出品，MIT随便用

• 仓库：github.com/docling-project/docling
• 玩法：pip install docling，三行Python：

from docling.document_converter import DocumentConverter
converter = DocumentConverter()
print(converter.convert("报告.pdf").document.export_to_markdown())

• 价格：MIT协议，零顾虑，商用免费，这是四把刀里法务最省心的一把
• 为什么值得关注：IBM研究院出品，背后是自家产品线的真实需求淬炼。版面分析模型和表格还原（TableFormer）是它家的看家本领，还官方对接了LlamaIndex和LangChain，解析完直接进你的RAG管道。不止啃PDF，Word、PPT、图片、HTML都能吃
• 国内对比：国内文档处理多在WPS、Adobe这类「给人看」的工具里打转，而Docling是「给机器看」的原生设计——这个思路差异本身就是认知差
• 适合谁：企业知识库搭建者。想今天下午就跑通第一份文档、又不想纠结协议问题的，从它开始

第三把刀：MinerU——中国团队打的刀，海外抢着用

• 仓库：github.com/opendatalab/MinerU
• 玩法：一条pip安装（README有完整中文指引，对国内用户最友好），支持命令行批量转换
• 价格：开源免费自托管（AGPL协议，商用集成需留意条款）
• 为什么值得关注：上海AI实验室（OpenDataLab）出品。公式识别、表格结构还原、中文阅读顺序处理都是强项——中文文献和中文扫描件场景，它大概率是最顺手的一把。它在GitHub上火起来主要靠海外开发者口口相传，不少HN讨论里被当成交付质量参照物
• 国内对比：这就是本期最扎心的视角差——国产团队的作品，海外社区捧成基建，国内技术圈反而聊得少。你身边用MinerU的人，大概率没有用Notion的人多
• 适合谁：研究生批量啃中文论文、律所财务所批量处理扫描合同、任何中文文档为主的团队

第四把刀：olmOCR——为百万级语料而生

• 仓库：github.com/allenai/olmocr
• 玩法：AI2（Allen Institute for AI，就是做OLMo开源模型、Dolma数据集那家）出品，主打一条流水线式的规模化OCR——不是转一份文件，而是把整个图书馆转成训练语料。内置微调过的开源视觉模型做识别
• 价格：MIT协议，开源免费
• 为什么值得关注：如果你的目标不是「转几份报告」而是「构建百万页级数据集」，其他工具是单兵作战，它是流水线工厂。做数据集的团队看一眼就懂价值
• 国内对比：国内建数据集多靠外包人工标注或商业OCR批处理，成本按页算；olmOCR路线是用自己的GPU一次投入、无限次摊薄
• 适合谁：AI公司、高校实验室里负责构建训练语料的人

彩蛋：白嫖党的捷径——LlamaParse

不想装任何东西？LlamaIndex家的云解析服务LlamaParse（cloud.llamaindex.ai）长期给免费额度，历史标准是每天约1000页，现在以官网为准。个人项目、原型验证阶段，这个额度基本等于白送，质量也是第一梯队。缺点是文档要上传云端——敏感合同、内部资料，还是老老实实自托管前三把刀。

一条能直接抄的流水线

四把刀怎么选？给你一张决策图：

flowchart TD
    A["一堆PDF：论文、合同、扫描件"] --> B{"里面有扫描件吗"}
    B -->|有| C["MinerU或olmOCR<br/>先做视觉识别"]
    B -->|纯电子版| D["Marker或Docling<br/>直出Markdown"]
    C --> E["表格和公式<br/>抽样人工校对"]
    D --> E
    E --> F["存入Obsidian<br/>或向量数据库"]
    F --> G["接RAG或Agent问答"]
    G --> H["答案必须附原文出处"]

三个实战提醒：

1. 别跳过校对环节：再好的解析器也会翻车，抽取5%的页数人工抽查，尤其是跨页表格；
2. 保留JSON输出：Marker和MinerU都能吐带坐标的结构化数据，做「答案溯源到页码」全靠它，这是你的RAG产品看起来专业的关键；
3. 协议先看后用：MIT（Docling、olmOCR）随便商用；GPL系（Marker、MinerU）自托管自用没问题，嵌进闭源产品前找官方谈授权。

信息差总结

行动指南

1. 今天下午：pip install docling，拿一份你最常读的PDF跑通三行代码，感受一下「干净的Markdown」和「复制粘贴的碎文本」差距有多大；
2. 本周：如果你的文档以中文扫描件为主，换MinerU再跑一遍，对比两者的表格还原效果；
3. 本月：把解析器挂进你的RAG管道，加上「答案附页码溯源」，这一步做完，你的知识库问答质量会跳一个档；
4. 持续：免费额度、授权条款、定价随时会变，动手前以各家官网和GitHub README为准。

这四把刀没有一把是上周才发布的——但「工具就在那里，90%的人却还在用错误的方式啃PDF」，这恰恰是最值钱的那种信息差：不用等谁发布新品，你今天就能捡走。

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。