LLM 时代,文档是所有 RAG 系统、Agent 工作流的第一道关卡——模型再强,吃进去的 PDF 是乱的,输出就是灾难。2025 下半年以来,“视觉语言模型做 OCR”(VLM-OCR)成了开源世界最卷的赛道之一,OmniDocBench 等榜单成了新的军备竞赛场:从 DeepSeek 的“光学压缩”论文爆款,到上海 AI Lab 的生产级管线,再到 IBM 的企业解析库,一层完整的“纸→数据”产业链都能在 GitHub 上免费拼齐。本期从这条产业链自上而下挖了 7 个仓库:2 个研究爆款、3 个生产级管线、2 个千星级小而美,覆盖单卡玩家、批量数字化和日常取字三种完全不同的场景。
说明:本期 Star 数为写作时(2026 年 9 月)的量级估计,以仓库页面实时数据为准。
deepseek-ai/DeepSeek-OCR | Star 万级+ | 活跃更新中
一句话定位:不是又一个 OCR 模型,而是一篇用“图片”压缩长上下文的论文工程——文本渲染成图,1000 个文字 token 压成约 100 个视觉 token,再由模型无损还原。
它解决的是 Agent 时代最贵的两样东西:上下文窗口和推理费用。据官方论文《Contexts Optical Compression》,约 10 倍压缩率下文本还原精度可达 97% 左右,20 倍压缩仍能保住六成——这个数字如果成立,长文档 RAG 的预处理成本逻辑会被重写。
核心架构分两截:DeepEncoder(SAM 窗口注意力负责高分辨率下的显存可控,16 倍卷积暴力压 token,CLIP 负责语义对齐)+ DeepSeek-3B-MoE 解码器(激活参数约 570M,单卡可跑)。除了还原文本,它还能直接输出版面坐标、表格结构,甚至“图表转表格”。官方提供 vLLM 部署方案,一张 40G 显存的卡即可起服务。
上手难度:⭐⭐⭐⭐(需要 GPU 和 vLLM 环境)
适用人群:做 RAG/Agent 基建的后端、想蹭论文热度的研究者。变现思路:给企业知识库做“文档→高保真 token”的预处理 API,按页或按 token 计费,是目前 OCR 赛道讲故事空间最大的一个。
opendatalab/MinerU | Star 三万级 | 持续高频发版
一句话定位:上海 AI Lab 出品的 PDF 解析流水线,把学术论文、财务报告、扫描件整批转成干净的 Markdown 和结构化 JSON,是中文世界最成熟的文档数字化基建。
传统 PDF 解析器的噩梦它全接管了:双栏排版、页眉页脚、嵌套表格、行间公式、竖排注释。其管线把版面检测(DocLayout-YOLO)、公式识别(UniMERNet)、表格还原、OCR、阅读顺序重建串成一条龙;2.x 版本后又叠加了 VLM 路线——据官方报告,MinerU2.5 以约 1.2B 的参数量在 OmniDocBench 上拿下了第一梯队的成绩,用 vLLM 加速后吞吐相当可观。
工程体验是它压倒同行的地方:pip 装完即有 CLI,Docker 一行起服务,自带 Gradio 网页版拖拽即用,CPU 也能跑低配模式。唯一要注意的是 AGPL-3.0 协议——拿它做闭源商业服务需要买官方授权或干脆开源你的改造部分。
上手难度:⭐⭐⭐
适用人群:数据工程师、量化研究员(研报入库)、出版社电子化团队。变现思路:为律所、券商、高校做文献批量解析服务,或基于它做垂直领域的“报告数据化”SaaS——这个方向已有创业公司在跑通。
allenai/olmOCR | Star 万级 | 活跃更新中
一句话定位:Ai2(Allen Institute for AI)为了给自己的 Dolma 语料库喂 PDF,顺手开源的工业化 OCR 方案——设计目标只有一个:每百万页的成本压到最低。
它最聪明的发明是 document anchoring(文档锚定):PDF 里往往藏着原生文本层,olmOCR 把文本层的坐标信息锚定进视觉模型的提示词里,让 Qwen 系列视觉模型只需“校对”而非“重抄”,既保住了阅读顺序和表格结构,又大幅降低幻觉。官方最初给出的成本估算是每百万页约 190 美元量级,远低于调用通用大模型 API 逐页转写。后续的 olmOCR-2 转向强化学习路线,用“单元测试”自动给识别结果打分来训练模型——把这个思路用在 OCR 上相当硬核。
模型权重、训练数据(olmOCR-mix)、评测脚本全部开放,Apache-2.0 协议,商用无障碍。适合的不是“扫描一张名片”这种小活,而是图书馆、法院卷宗、政府档案这种亿页级的数字化工程。
上手难度:⭐⭐⭐(建议 GPU 集群或按需租卡)
适用人群:数据团队、档案馆/出版社技术供应商。变现思路:按页计费的数字化外包,毛利率取决于你把 GPU 利用率卷到多高——它就是为这个场景设计的。
docling-project/docling | Star 数万级 | 更新极快
一句话定位:IBM 研究院开源的文档理解库,PDF、DOCX、PPTX、HTML、图片统统解析成 Markdown/JSON,专为企业 RAG 的“ ingestion 层”而生,MIT 协议随便改。
和 MinerU 相比,docling 的气质更“企业”:接口设计成标准 Python 库,解析结果是带层级结构的 DoclingDocument 对象,表格用 TableFormer 模型精细还原,读序(reading order)处理是其传统强项;官方维护着与 LangChain、LlamaIndex、spaCy 的一等公民集成,还有 docling-serve 提供 OpenAPI 风格的解析服务,K8s 里一挂就是公司级文档网关。对 DOCX/PPTX 这类“非扫描”办公文档的原生解析,是它相对纯 OCR 管线的差异化优势——大量企业知识库里躺着的恰恰是 Office 文档而非 PDF。
对想给公司搭内部知识库的团队,它几乎是默认选项:协议干净、IBM 背书、社区响应快、Issue 不变僵尸。
上手难度:⭐⭐
适用人群:企业 IT、RAG 平台工程师、咨询交付团队。变现思路:企业知识库实施与定制解析插件开发——文档 ETL 是每个 RAG 项目的隐蔽工作量黑洞,谁收拾干净谁收费。
PaddlePaddle/PaddleOCR | Star 五万级 | 长青项目
一句话定位:中文 OCR 事实上的标准件,80+ 语种、检测/识别/文档解析三件套齐活,最轻的模型只有几 MB,能塞进开发板。
它常被新玩家低估为“上一代技术”,但 2025 年的 PP-OCRv5 在手写体和多语种上大幅补课,PP-StructureV3 把整页文档解析做成了开箱能力,年底发布的 PaddleOCR-VL(约 0.9B 参数)更是据官方报告冲上了 OmniDocBench 端到端评测的头名——老树开新花,VLM 时代的牌它一张没落。更不可替代的是端侧能力:PP-OCRv5 mobile 系列模型经过 ONNX/NCNN 导出后可在手机、安防摄像头、工业相机上离线跑,这是那些依赖大 GPU 的 VLM 方案完全够不着的市场。
生态护城河同样深厚:RapidOCR 等第三方项目把它转成 ONNX 全平台部署,票据识别、车牌识别、表型识别的下游方案遍地。
上手难度:⭐⭐
适用人群:嵌入式工程师、做票据/证件识别的 B 端开发者。变现思路:工业质检、仓储单据、硬件 OCR 模组——按设备授权收 license 费,是最传统的稳定生意。
dynobo/NormCap | Star 约两千上下 | 持续维护
一句话定位:按下快捷键、框选屏幕任意区域、文字进剪贴板——一个把“截图 OCR”做到极致的单一痛点工具。
看视频里的报错堆栈想复制、PDF 上文字选不中、直播幻灯片想摘重点、老软件的只读界面要抓数据——这些场景里“先截图再开网页 OCR”的流程能被 NormCap 压缩成两秒。它用 PySide6 写成,完全离线:Linux 上走 Tesseract,Windows 上直接调系统自带的 Windows.Media.Ocr,macOS 走 Vision 框架,隐私敏感场景(客户数据、内网截图)也不必担心文字上云。支持多语言混排识别、托盘常驻,Flatpak/Snap/winget/brew 三平台安装包齐全。
它的价值不在技术深度,而在产品克制:没有账号、没有广告、没有“AI 套壳”的冗余功能,就是快门、框选、粘贴。这类工具是开源世界最健康的形态——解决一个真痛点,然后停下。
上手难度:⭐
适用人群:所有桌面用户,尤其是处理内网/涉密材料的上班族。变现思路:难以直接收费,但适合作为技术博主的“引流神器”——用它换口碑和影响力,是典型的声望型开源。
kha-white/manga-ocr | Star 约两千上下 | 稳定维护
一句话定位:专攻漫画气泡内日文的 OCR 模型——竖排文字、手写假名、拟声词艺术字、气泡遮挡,通用 OCR 全军覆没的地方它一击必杀。
作者是位日语学习者,起因就是通用引擎读不了竖排漫画。技术上它是一个图像编码器 + 从零训练的 RoBERTa 文本解码器组合,在大量漫画数据上端到端训练,内置语言模型先验,能在笔画残缺、字体花哨时“猜”出正确假名汉字组合——对爱看生肉的日语学习者,它配合翻译软件就是一套免费实时汉化系统。pip install manga-ocr 一行安装,模型自动从 Hugging Face 拉取,也可以作为 Python 库嵌进自己的工作流。
它是“小而美”的教科书样本:一个作者、一个垂直场景、一个通用方案覆盖不了的利基,Star 不多但在目标社区(日语学习、汉化组)里几乎是人手一份的基础设施。
上手难度:⭐⭐
适用人群:日语学习者、汉化组、字幕组。变现思路:垂直 OCR 能力授权——语言学习 App、漫画阅读器都愿意为“拍一页翻一页就能懂”的能力付费;做漫画本地化外包的团队更是刚需。
| 仓库 | 类型 | Star 量级 | 上手难度 | 适用场景 |
|---|---|---|---|---|
| DeepSeek-OCR | VLM 研究爆款 | 万级+ | ⭐⭐⭐⭐ | RAG 预处理、上下文压缩研究 |
| MinerU | PDF 解析管线 | 三万级 | ⭐⭐⭐ | 论文/研报批量转 Markdown |
| olmOCR | 批量 OCR 流水线 | 万级 | ⭐⭐⭐ | 亿页级档案数字化 |
| docling | 企业文档解析库 | 数万级 | ⭐⭐ | 企业 RAG、多格式 ETL |
| PaddleOCR | 端到端 OCR 工具箱 | 五万级 | ⭐⭐ | 中文场景、嵌入式部署 |
| NormCap | 桌面截图 OCR | 约两千 | ⭐ | 日常取字、离线隐私 |
| manga-ocr | 垂直 OCR 模型 | 约两千 | ⭐⭐ | 漫画生肉、日语学习 |
mindmap
root((纸变数据))
研究爆款
DeepSeek-OCR 光学压缩
高压缩 高保真
生产管线
MinerU 全格式转MD
olmOCR 低价批量
docling 企业集成
端侧老将
PaddleOCR 全语种全家桶
模型仅数MB
小而美
NormCap 截图取字
manga-ocr 漫画生肉
pip 装完、拖入 PDF、得到 Markdown,十分钟内你能完整体验这条管线的含金量,CPU 也能先跑起来。注:本文写作时未能联网核验,Star 数与榜单名次均为基于公开资料的量级估计(未经官方实时证实),具体数字请以各仓库页面为准。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
