这一周,海外 AI 圈吵得最凶的还是"哪个模型最强"——GPT-5.6 代号 Sol 刷屏,Claude、GLM、Gemini 轮番更新跑分。但你如果只盯着模型选型,就踩进了最大的信息差陷阱:模型本身正在以每月两三成的速度跌成白菜价,真正决定 AI 产出质量、也真正在烧你钱的,已经悄悄挪到了"喂进嘴的料"——也就是进料口(ingestion)层。本周海外接连上线三把新刀,全部瞄准同一个靶子:把脏数据洗干净、便宜地喂进模型。一家把网页清洗成本砍到二十分之一,一家把文档解析核心免费开源进本地,Anthropic 干脆直接把 60 多个科研数据库打包成一个可审计工作台。看懂这三把刀,你就看懂了 2026 年 AI 真正的护城河在哪里。
先给你一个反直觉的账。Feyn 这家团队在 7 月 6 日发在 Hacker News 的 Show HN 里实测了一组数据:一个典型 HTML 网页里,70% 的内容块是导航栏、广告、侧边栏、页脚这些 boilerplate(样板内容),真正有用的主内容只占一小撮。但就是这一小撮,决定了模型在预训练和推理两端的质量。
更狠的是引用论文 AICC(Ma et al., 2025)的对照实验:同一份 Common Crawl 快照,一份用启发式规则提取,一份用模型提取,只换提取逻辑、其他管线全不变,训出来的同一个模型,模型提取版在 13 个基准上平均高 1.08 个百分点——甚至干翻了以重度过滤闻名的 FineWeb 和 RefinedWeb。
这意味着什么?数据清洗不是"锦上添花",是"地基"。而启发式工具会把代码块和公式搞坏(Trafilatura 对代码块的相似度只有 0.13,模型提取是 0.91),脏料喂进去,模型就把这层损坏继承下来。推理端同理:ICML 2023 那篇经典论文早证明,一段无关上下文就足以让模型答错。
所以本周这三把刀,刀刀都砍在"进料口"上,而且遵循同一个经济学逻辑:用又小又专的模型 / 本地算力,去干又脏又高频的清洗活,把大模型留给真正需要推理的环节。
| 维度 | 详情 |
|---|---|
| 名称 | Pulpie(by Feyn) |
| 官网/仓库 | github.com/feyninc/pulpie、huggingface.co/blog/feyninc/pulpie |
| 上线 | 2026-07-06,Show HN |
| 价格 | 开源免费,自托管 |
| 一句话 | encoder 架构清洗网页,1/20 的成本逼近 SOTA |
Pulpie 是一个清洗网页的模型家族,干一件极其无聊但极其值钱的活:把抓下来的 HTML 里那 70% 的样板内容剔除,只留主内容,输出干净 HTML 或 Markdown。它的杀手锏是架构选择。
当前最强的同类工具叫 Dripper,是个 decoder(解码器),一次吐一个 token 的标签,每吐一个 token 都得把整个模型从显存读一遍,所以速度被显存带宽卡死。Pulpie 反过来用 encoder(编码器),一次前向传播给所有 block 打标签,瓶颈挪到算力上。结果是碾压级的对比:
| 模型 | 参数量 | ROUGE-5 F1 | L4 吞吐(页/秒) | 10 亿页成本(L4) |
|---|---|---|---|---|
| Dripper 0.6B | 600M | 0.864 | 0.68 | ~$159,000 |
| Pulpie Orange Small | 210M | 0.862 | 13.7(快 20 倍) | ~$7,900(1/20) |
| Pulpie Orange Large | 2.1B | 0.873 | 1.3 | ~$83,000 |
210M 的小模型,质量基本追平 600M 的 Dripper,速度快 20 倍,成本降到二十分之一。 关键原因在硬件经济学:A100 和 L4 在显存带宽上差 6.8 倍,但在算力上只差 2.6 倍——所以从 A100 降到便宜的 L4,带宽依赖型的 decoder 被饿得更惨,而算力依赖型的 encoder 反而能在便宜卡上跑得欢。这对国内开发者是直接利好:用廉价的 L4 / 甚至国产卡,就能把全网清洗这件事跑起来。
上手极简:
pip install pulpie
from pulpie import Extractor
extractor = Extractor() # 默认 pulpie-orange-small
result = extractor.extract(html)
print(result.markdown) # 干净 markdown
它的训练也很值得抄作业:从 Common Crawl 采样 16,670 个英文页(限制每个域名一页),用 DeepSeek V3.2 给每个 block 打内容/样板标签,再拿 Dripper 0.6B 做第二标注人交叉验证(block 级一致率 93.3%),只保留两个标注人在 70% 以上 block 上一致的 14,959 页。用强模型蒸馏出小模型替自己打工——这套"老师—学生"范式正是当下小模型团队最该学的。
国内对标: 绝大多数国内 RAG 工程师清洗网页还在用 Trafilatura、Readability、BeautifulSoup 这类启发式,或者干脆把整页 HTML 扔给大模型清洗(贵且慢)。Pulpie 给出了一条中间路线:开源小模型,本地/便宜卡自托管,质量和前沿 LLM 接近(基准里前沿 LLM 约 0.90,Pulpie Large 0.873)。
| 维度 | 详情 |
|---|---|
| 名称 | LiteParse(by LlamaIndex) |
| 官网 | llamaindex.ai/blog/liteparse-local-document-parsing-for-ai-agents |
| 价格 | 开源免费,本地运行,零 Python 依赖 |
| 一句话 | LlamaParse 的核心引擎开源,专给 agent 设计 |
LlamaParse 是海外文档解析的事实标准之一,云端按页收费(免费额度每天 1000 页)。这周 LlamaIndex 把它最核心的处理引擎拆出来开源成 LiteParse,而且做了一个反常识的设计取舍。
LiteParse 是一个 TS 原生的 CLI 和库,零 Python 依赖、不需要 GPU、完全在本地跑:
npm i -g @llamaindex/liteparse
lit parse anything.pdf
lit screenshot report.pdf -o "./imgs" --pages "1-3" # 还能截图喂给多模态
支持 PDF(原生文本 + 扫描页自动 OCR)、Office 文档(DOCX/XLSX/PPTX 经 LibreOffice 转 PDF 再解析)、图片(经 ImageMagick 转 PDF 再 OCR),OCR 用内置的 Tesseract.js 自动并行吃满你的 CPU 核。
它最聪明的一点是哲学转向:大多数解析工具拼命做"表格识别",把表格转成 Markdown,结果增加一堆失败模式。LiteParse 反过来——保留版面,而不是检测结构。它把文本按空间网格投影,表格长什么样就输出什么样:
Name Age City
John 25 NYC
Jane 30 LA
理由很硬:现代 LLM 本来就在 ASCII 表格、代码缩进、README 上训过,它天生读得懂这种格式,何必再套一层会出错的表格检测管线? 这等于把"理解结构"这件难事,从脆弱的解析器手里,交还给擅长干这事的 LLM。
更关键的是它为 agent 量身定做。官方吐槽了一个真实痛点:Anthropic 的官方 PDF skill 鼓励 agent 每次都用 pypdf 写一段 Python 来处理 PDF——这意味着 agent 每读一个文档就现场写一遍新代码,且这些代码在不同文档、不同会话间不通用。LiteParse 把这件事固化成可复用的工具调用,还打包成了一个 coding-agent skill:
npx skills add run-llama/llamaparse-agent-skills --skill liteparse
并支持一个强大的 agent 模式:先用文本快速理解,遇到看不准的再截图做视觉推理。
国内对标: 国内在文档解析上有两个开源强选手——上海 AI Lab 的 MinerU(也是 Pulpie 训练时用来切 HTML 的工具)和 Marker。LiteParse 的差异化在于"agent-first + 零 Python 依赖 + 空间网格哲学",定位是给实时 agent pipeline 用、要快和省,而不是和 MinerU 拼 PDF 复杂版面的极限精度。对做 agent 的国内开发者,这是个比 pypdf 靠谱得多的起步方案。
前两把刀是"清洗工具",第三把刀更狠:Anthropic 干脆把整个科研数据的进料口打包成一个工作台。
| 维度 | 详情 |
|---|---|
| 名称 | Claude Science(by Anthropic) |
| 官网 | claude.com/product/claude-science |
| 上线 | 2026-06-30,beta |
| 价格 | 捆绑 Claude Pro($20/月)/Max/Team/Enterprise |
| 一句话 | 给科学家的 AI 工作台,60+ 数据库直连,全程可审计 |
Claude Science 是一个 macOS/Linux 桌面应用,本质是"一个恰好以前沿 AI 模型为主界面的科研环境"。它解决的是科学家的真实痛点:一个真实的研究流程要横跨文献检索、数据整理、统计建模、出图、代码审查、引用核对,散落在六七个互不相通的工具里,在终端、Jupyter、文献管理器、聊天窗之间反复切换,每一步都在掉链子。
Claude Science 的做法是把 Claude 直接接到科研工具链上:PubMed、Jupyter、R、集群终端、按需 GPU全塞进一个持久化的项目工作台。它内置 60 多个按学科整理的 skill 和连接器——基因组学、单细胞、蛋白组学、结构生物学、化学信息学,外加 NVIDIA BioNeMo Agent 集成。
三个设计细节决定了它不是又一个"套壳 chat":
可审计的产物:工作台里产出的每一张图、每一个统计结果,都配着生成它的代码和导致这段代码的完整对话。没有"我一个月前在 notebook 里跑过、好像参数是对的"这种玄学,整条证据链都留在项目产物日志里。
计算随需调度:代码可以在本地笔记本、Linux 工作站、经 SSH 的 HPC 登录节点、或 Modal 的 GPU 上跑(做蛋白结构预测、大规模 embedding)。计算这层它帮你管。
数据不出你的基础设施:只有 context window(上下文窗口)会发到 Anthropic,你的数据集始终留在本地/你自己的机器上。 这一点对受合规约束的机构是硬刚需。
早期采用者 Manifold Bio、Allen Institute、UCSF 已经在基因组学、药物靶点提名、长文文献综述上报告了数量级的加速;Modal 还给入选的 AI for Science grant 受赠者最高 2000 美元算力额度。
国内对标:基本空白。 智谱 GLM、通义千问、DeepSeek、Kimi 都没有面向科研的垂直工作台——它们都还在卷通用对话和模型能力。Claude Science 释放的信号才是关键:当模型同质化,下一程的护城河是"为某个职业深度定制、把它的数据进料口和工作流牢牢锁住"。
flowchart LR
subgraph Raw["脏数据源头"]
W["网页 HTML\n70% 是样板"]
D["PDF / Office 文档\n表格、公式、扫描页"]
P["专业数据库\nPubMed / 文献 / 数据集"]
end
subgraph Ingest["进料口:本周三把新刀"]
P1["Pulpie\n210M encoder\n网页→干净 Markdown\n成本 1/20"]
P2["LiteParse\n本地零依赖\n文档→版面感知文本\nagent-first"]
P3["Claude Science\n60+ 数据库直连\n可审计工作台\n数据不出本地"]
end
subgraph Model["模型层:正在白菜价"]
M["GPT-5.6 / Claude / GLM\n把推理留给它"]
end
W --> P1
D --> P2
P --> P3
P1 --> M
P2 --> M
P3 --> M
style P1 fill:#ffe4b5
style P2 fill:#b5e4ff
style P3 fill:#d5b5ff
style M fill:#d4f4d4
三条进料路径,三种形态,但底色一致:清洗这个环节,正在从"调大模型"迁移到"小模型/本地算力/打包工作台"。谁掌握了又便宜又干净的进料口,谁就拿到了模型同质化时代的定价权。
| 维度 | 大多数人知道的 | 你现在知道的(信息差) |
|---|---|---|
| 网页清洗 | 用 Trafilatura / 大模型清洗,贵或脏 | Pulpie:210M 开源小模型,成本砍到 1/20,逼近前沿 LLM 质量 |
| 文档解析 | pypdf 凑合 / 云端按页付费 | LiteParse:LlamaParse 核心开源进本地,零 Python 依赖,agent-first |
| 科研 AI | 把论文粘进 ChatGPT 问 | Claude Science:60+ 数据库直连,全程可审计,数据不出本地 |
| 护城河位置 | 拼模型选型、拼提示词 | 模型同质化后,护城河在"进料口"——数据清洗层 |
| 经济学逻辑 | 清洗=大模型干 | 清洗=小模型/本地算力干,大模型只留给推理 |
今天就换掉你的 RAG 清洗管线:把网页/HTML 入口的 Trafilatura 换成 pip install pulpie,跑一遍 Extractor().extract(html),对比输出质量和成本。重点看代码块和表格是否保真。
agent 读 PDF 别再现场写 pypdf:npm i -g @llamaindex/liteparse,把它装进你的 agent 技能库(npx skills add run-llama/llamaparse-agent-skills --skill liteparse)。先用 lit parse 抽文本,看不准再 lit screenshot 走多模态。
给 LlamaParse 省钱:高频、对精度要求不极端的实时 agent pipeline 用 LiteParse 本地跑;只有复杂版面、要 JSON schema 的难活才调 LlamaParse 云端。把"急活"和"难活"分开计费。
抄 Pulpie 的训练范式:如果你在做垂直领域小模型,照搬它的"强模型标注→交叉验证→蒸馏小模型"路径(DeepSeek V3.2 + Dripper 0.6B 双标注,93.3% 一致率筛数据)。这是当下小模型团队性价比最高的数据构造法。
盯 Anthropic 的下一步:Claude Science 验证了"垂直工作台"路线可行。国内厂商大概率会跟进——科研、法律、医疗、金融各来一个。你要做的,是判断自己所在行业会不会是下一个被"工作台化"的,并提前把数据资产和 workflow 梳理清楚,而不是等技术来了再慌。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
