首页 › new-tools › PDF喂AI总翻车?先换这三把刀

你花大价钱买的最强模型,可能正在被一份烂解析毁掉。这句话不夸张:做 RAG、做知识库、做企业文档问答的团队,检索答错的锅,一大半根本不在模型,而在你把 PDF 喂给模型之前那一步——文档解析。双栏论文被拦腰截断、财报表格变成乱码、扫描件直接吐出火星文,这些都是传统文本抽取工具留下的“翻车现场”。海外 AI 圈过去一年悄悄把这条赛道卷成了军备竞赛,而国内大部分人还在用三年前的老办法切 chunk。今天这篇文章,把这条赛道上最值得上手的三件“新刀”讲清楚:Ai2 的 olmOCR 2、DeepSeek 的 DeepSeek-OCR、Datalab 的 Marker,顺带告诉你一个反常识的事实——这个赛道的榜单,其实是中国团队在领跑。

一、为什么你的 RAG 总翻车

先说病根。过去大家处理 PDF 的标准动作是:用 PyPDF2、pdfplumber 这类库把文本抽出来,切分成 chunk,塞进向量库。这套流程在“文字型、单栏、无表格”的理想文档上勉强能用,但真实世界的文档长什么样?

一份学术论文:双栏排版、公式、参考文献。传统抽取器会按物理坐标把左栏右栏混着切,读出来的句子驴唇不对马嘴。一份财报:复杂合并表格、跨页表头。抽出来之后行列关系全丢,模型只能瞎猜。一份合同扫描件:根本不是文本,是图片,传统抽取器直接空手而归。

2024 年起,海外圈子的解法集体换了路线:别再“抽取文本”了,直接让视觉模型“看”这一页,输出结构化的 Markdown。表格转成 Markdown 表格、公式转成 LaTeX、阅读顺序自动还原。判断好坏也不再拍脑袋,而是有了专门榜单 OmniDocBench,把编辑距离、表格还原度、公式识别率一项项算分。这条赛道上的玩家,既有开源模型派,也有按页收费的 SaaS 派,价格从免费到千页几美元不等——对做企业内部知识库的人来说,这是过去一年性价比提升最猛的一环。

二、第一把刀:olmOCR 2,完全开源的白嫖之王

仓库:https://github.com/allenai/olmocr

olmOCR 出自美国非营利研究机构艾伦人工智能研究所(Allen Institute for AI,Ai2)。第一版 2025 年初开源时就以“文档级视觉解析 + Apache 2.0 许可证”出名;2025 年秋发布的 olmOCR 2 是一次大升级:约 7B 级别的视觉语言模型,专门针对文档解析训练,配套的 olmOCR-Bench 提供了可复现的评测基准。它的训练思路也值得一看——用“单元测试式奖励”做强化学习,比如表格解析结果只要能被程序正确执行还原就算对,这让评测变得很硬核,不容易“刷榜”。

为什么值得关注:一是许可证干净,Apache 2.0 意味着商用零门槛,这一点在开源解析工具里相当难得;二是它是为“批量数字化”设计的,适合手里有几万页扫描档案、想把它们变成可检索语料库的团队;三是 Ai2 连训练数据和配方都开源了,想自己微调私有文档风格(比如病历、法律文书)的人有现成起点。

价格:模型本体免费,成本就是你的 GPU。消费级和入门级数据中心卡都可以跑推理,具体显存要求以仓库 README 为准。

和国内方案对比:国内同类型的开源自托管选择是上海人工智能实验室的 MinerU(https://github.com/opendatalab/MinerU),中文文档支持更好、社区活跃,但商用前要看清其许可证的传染性条款。中文语料为主、且介意许可证的,MinerU 谨慎评估后再上;英英混排、想商用无忧的,olmOCR 2 更省心。

三、第二把刀:DeepSeek-OCR,把“上下文压缩”拍成一张图

仓库:https://github.com/deepseek-ai/DeepSeek-OCR

2025 年 10 月,DeepSeek 悄悄开源了这个小模型,当时在 Hacker News 上讨论热度很高。它的卖点有两个层面。工程层面:3B 级别的小模型,消费级显卡可跑,官方口径下十倍压缩以内解析精度约 97%——也就是说一页文档只需要一千个左右的视觉 token 就能还原,比把纯文本原样塞进上下文还省。概念层面:它提出了“上下文光学压缩”(contexts optical compression)的思路——长文本可以“拍成一张图”存起来,用更少的 token 承载更多信息,甚至畅想了 forgetting 压缩:人不需要记住原文,需要时再解码。

为什么值得关注:对你最实际的价值是“token 经济学”。做长文档问答时,一页 PDF 用文本方式塞进去可能要两三千 token,DeepSeek-OCR 压到一千上下,长文档场景的成本直接打对折还多。这个小模型本身也能当纯 OCR 用,中文表现不俗。

价格:完全开源免费,一张消费级卡就能玩起来,仓库里给了 transformers 和 vLLM 两套部署方案。

怎么用:clone 仓库 → 按官方脚本下载权重 → 用自带的 demo 脚本喂图 → 拿到 Markdown 输出。想省事的话,社区已有把它接进 vLLM 的服务化方案,具体以仓库文档为准。

四、第三把刀:Marker,工程质量最稳的那把

仓库:https://github.com/datalab-to/marker

Marker 的作者是工程师 Vik Paruchuri,后来围绕它成立了公司 Datalab。它是这波“PDF 转 Markdown”浪潮里最早出圈的开源项目之一,至今仍是很多 RAG 教程的默认选项:表格、公式、章节结构还原稳定,速度快,支持 GPU 批量处理。

为什么值得关注:它代表“开箱即用”路线的天花板——pip 一行装好,几行代码把一个 PDF 目录批量变成干净 Markdown,直接接 LangChain/LlamaIndex 的 ingest 流程。对不想折腾模型部署、想要“能跑就行”的团队,Marker 是最短路径。

价格与许可证的坑:这是本文最想让你记住的“认知差”。Marker 是 GPL 类许可证,而且对年收入超过特定门槛的公司有额外的商业授权条款——个人和小团队白嫖没问题,拿它做公司产品前,务必读一遍仓库里的授权说明(以官方 README 为准)。不想碰许可证问题的,要么用官方云 API 按页付费(千页几美元量级,以官网报价为准),要么换 Docling(https://github.com/docling-project/docling,IBM 出品,MIT 许可证,工程集成做得非常细)。

五、一个反转:这个榜单,中国在领跑

海外视角看多了,容易有个错觉:好东西都在大洋彼岸。文档解析赛道恰恰相反。在 OmniDocBench 榜单上,前排长期站着一批中国团队的模型:小红书 hi lab 的 dots.ocr、上海 AI Lab 的 MinerU、百度的 PaddleOCR-VL(0.9B 的小模型,发布时登顶过该榜单),再加上本文的 DeepSeek-OCR。中文文档解析这个单项,国产开源基本是碾压局。

所以正确的姿势是两头抄:模型能力,优先用国产开源(中文效果好、免费、可自托管);工程化和许可证设计,学海外(Ai2 的 Apache 2.0 干净度、Datalab 的开源+商业授权双轨制、IBM Docling 的企业级集成思路)。这个组合拳,目前国内还在折腾选型的人,大多没想明白。

六、信息差总结

维度 你可能以为的 实际情况
PDF 处理 PyPDF2 切一切就行 视觉解析已成标配,老方法在双栏/表格/扫描件上必然翻车
开源解析 都有许可证坑 olmOCR 2 是 Apache 2.0,商用零门槛;Marker 有收入门槛条款
成本 解析很贵 3B 级小模型一张消费级卡能跑,边际成本趋近电费
RAG 答错 换更强的模型 先查解析质量,大概率是文本在入口处就烂了
榜单格局 海外遥遥领先 OmniDocBench 前排是 dots.ocr、MinerU、PaddleOCR-VL、DeepSeek-OCR

七、行动指南

路线决策一张图:

flowchart TD
    A["一堆PDF要喂给AI"] --> B{"什么文档"}
    B -->|论文财报合同| C{"能上GPU吗"}
    B -->|纯文字书稿| D["老工具能凑合"]
    C -->|能| E["olmOCR 2自托管"]
    C -->|不能| F["云API按页买"]
    E --> G["Markdown进RAG"]
    F --> G
    D --> G
    G --> H["解析质量抽检10页"]
    H -->|表格错乱| I["换DeepSeek-OCR对比"]
    H -->|达标| J["接入向量库"]
    I --> G

具体三步走:

  1. 今天就做:把你项目里那份“答不对”的 PDF,用 Marker 跑一遍(pip install marker 即可),对比现有 chunk 的文本质量。十次里九次你会当场看到表格被切成了什么样。
  2. 本周做:中文为主的场景,把 DeepSeek-OCR 和 MinerU 拉出来各跑同一批样本,用 OmniDocBench 的思路人工抽检 10 页,选赢家入库。
  3. 上线前做:法务过一遍许可证——Marker 看收入门槛条款,MinerU 看传染性条款,olmOCR 2 和 Docling 基本无忧。预算允许又不想运维 GPU 的,Mistral OCR(发布时口径千页约 1 美元)或 LlamaParse(有免费额度,按页计 credits,政策以官网为准)是省心选项。

一句话收尾:模型再强,也救不了入口处的烂文本。在给模型涨工资之前,先把它的眼睛治好。

参考来源

  1. olmOCR 仓库(Ai2,Apache 2.0):https://github.com/allenai/olmocr
  2. DeepSeek-OCR 仓库(含光学上下文压缩说明):https://github.com/deepseek-ai/DeepSeek-OCR
  3. Marker 仓库与许可证说明(Datalab):https://github.com/datalab-to/marker
  4. Docling 仓库(IBM,MIT):https://github.com/docling-project/docling
  5. MinerU 仓库(上海 AI Lab):https://github.com/opendatalab/MinerU

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入