你有没有发现一个问题：想让 AI 干活，第一步永远是“把网页内容塞给它”。但国内教程圈教你的还是十年前的老三样——requests 拉源码、BeautifulSoup 写选择器、Scrapy 配管道。而在海外开发者社区，这条链路已经被重新造了一遍轮子：**一条 URL 直接吐 markdown、用字段名描述就能抽 JSON、让 AI 替你点按钮填表单**。今天这篇就介绍四件真实存在、文档齐全、且有免费路线的工具，从零成本到企业级全覆盖，帮你把“网页→AI”这条管道的成本打到几乎为零。 先交代一句：本轮海外检索通道受限，本文聚焦这些项目长期稳定的官方文档特性，版本号、价格、最新动态请以官网为准。文内不写不确定的数字，只给你能立刻动手的操作路径。 --- ## 一、Jina Reader：一条 URL 就够了，零成本入门 **官网**：jina.ai（Reader 服务入口就是 `r.jina.ai`） 这是海外圈公认的“白嫖之王”。用法简单到离谱——在任何网址前面加上 `https://r.jina.ai/`，回车，返回的就是清洗干净的 markdown 正文： ``` https://r.jina.ai/https://openai.com/news ``` 不需要注册就能直接测试（有速率限制），注册拿 API key 后免费额度对个人测试非常充裕，付费档价格以官网为准。 **为什么值得关注：** - **JS 渲染页面也能处理**。传统抓法遇到 React/Vue 单页应用拿到的是空壳 HTML，Reader 背后有无头浏览器帮你渲染完再转 markdown - **输出即喂即用**。markdown 是 LLM 最爱吃的格式，token 消耗比原始 HTML 少一个数量级 - **一行 curl 就能集成**，塞进任何脚本、任何语言 **适用场景**：快速给 RAG 知识库灌单篇文档、写 AI 应用时拉参考资料、给笔记工具收藏网页全文。 **国内对比**：中文社区几乎没人系统讲这个服务。国内同类需求大家还在“网址→手动复制粘贴→贴给对话框”，或者自己搭 Playwright 服务，运维成本完全不是一个量级。 --- ## 二、Crawl4AI：完全开源免费，自托管主力 **官网**：crawl4ai.com｜**代码**：github.com/unclecode/crawl4ai 如果你要**批量、长期、免费**地抓网页喂 AI，这是目前海外开源生态里最对口的答案。Apache 2.0 协议，完全免费，可以跑在自己服务器上，数据不出门。 三行代码起步： ```python from crawl4ai import AsyncWebCrawler async with AsyncWebCrawler() as crawler: result = await crawler.arun("https://example.com") print(result.markdown) ``` **五个核心能力（全部来自官方文档的稳定特性）：** 1. **自动输出干净的 markdown**——自动去广告、去导航栏、去页脚，只留正文 2. **CSS/XPath 选择器直接出结构化 JSON**——不靠 LLM 也能精确抽取，零 token 成本 3. **LLMExtraction 策略**——接上任意大模型，用自然语言描述“我要标题、价格、日期”，它帮你抽成 JSON 4. **支持浏览器交互**——滚动加载、执行 JS、点击按钮，动态页面不虚 5. **Docker 服务器模式**——部署成 API 服务，团队共享一个爬取网关 **为什么值得关注**：它是四件工具里唯一“无上限免费”的。当你需要给企业内部知识库灌几万个页面、或者每天定时抓竞品页面时，按页计费的托管服务会肉疼，Crawl4AI 就是你的答案。 **国内对比**：国内爬虫生态被 Scrapy 和 requests 统治，“专为 LLM 设计的爬虫”这个品类在中文世界基本空白。唯一接近的操作是在开源社区偶尔刷到，但深度中文教程为零——这就是典型的时间差+认知差。 --- ## 三、Firecrawl：托管省心，整站级选手 **官网**：firecrawl.dev（开源版可自托管） Firecrawl 是这个赛道的“付费标杆”，YC 系背景，主打一件事：**你给一个网址，它把整个站变成 LLM 能吃的格式**。 **四个招牌 API：** - `/scrape`——单页转 markdown，一键搞定 - `/crawl`——递归爬整站，自动发现子页面，全站转 markdown - `/map`——几秒钟列出全站所有链接，做站点结构分析神器 - `/extract`——这功能国内知道的人极少：你用 JSON Schema 描述要什么字段，它跨多个页面把结构化数据抽出来，**全程不用你写一行解析代码** Python/Node SDK 都有，注册后有免费额度试水，付费按积分计费，具体价格以官网为准。代码开源（AGPL），介意托管也可以自己部署。 **为什么值得关注**：`/extract` 是它的杀手锏。想象一下：给一个电商列表页 URL + 一段 schema（商品名、价格、评分），回来直接是干净的 JSON 数组——这本来是数据工程师半天的活。 **适用人群**：做 AI 应用需要稳定数据源的开发者、要批量结构化网页信息的分析师。不想运维、预算敏感度低的，直接上托管版。 --- ## 四、Stagehand：带登录、要交互的页面，交给 AI **官网/代码**：browserbase.com/stagehand｜github.com/browserbase/stagehand 前面三件工具都解决“看”，但很多页面是“看不了”的：要登录、要点翻页、要填搜索框。Stagehand（Browserbase 团队出品，MIT 开源）解决的就是这一层——**用自然语言指挥 AI 操控真浏览器**。 核心就三个 API，好记： ```typescript await page.act("点击登录按钮"); // act：执行动作 await page.observe("页面上有哪些可点的？"); // observe：探查可操作项 const data = await page.extract({ // extract：抽结构化数据 instruction: "提取所有商品名和价格", schema: z.object({ items: z.array(...) }) }); ``` **三个设计亮点：** - **构建在 Playwright 之上**——AI 干不稳的步骤，可以无缝混写传统 Playwright 代码兜底，这是它比“纯 AI agent 操控”路线靠谱的核心原因 - **模型无关**——Claude、GPT 等都能接，换模型不改业务代码 - **开源免费**，跑在自己机器上零成本；要规模化再接 Browserbase 托管浏览器（按量付费） **适用场景**：抓需要登录的后台数据、自动化重复网页操作、给老系统（没有 API 的）做一个“网页版 API”。 **国内对比**：国内讲浏览器自动化基本停在 Selenium+XPath 时代，Playwright 的中文深度内容都不多，Stagehand 这类“自然语言驱动”的框架更是几乎无人报道。 --- ## 五、四条管道怎么选？一张图看懂 ```mermaid flowchart TD A["目标：把网页喂给AI"] --> B["需要登录或点击交互？"] B -->|不需要| C["抓取规模多大？"] B -->|需要| D["Stagehand：AI操控真浏览器"] C -->|单页几篇| E["Jina Reader：URL前加前缀"] C -->|整站批量长期| F["Crawl4AI：开源自托管"] D --> G["规模化要不要托管？"] G -->|要省心| H["Firecrawl托管版"] G -->|要省钱| I["Stagehand自部署"] ``` 一句话记忆：**偶尔看看用 Jina，量大管饱用 Crawl4AI，整站结构化用 Firecrawl，登录交互找 Stagehand**。 ## 信息差总结 | 你以为的 | 实际情况 | |---------|---------| | 抓网页=手写 requests+选择器 | URL 加个前缀就能吐 markdown | | 结构化提取必须写解析代码 | 描述字段名，直接回 JSON | | 带登录的页面没法批量抓 | 自然语言让 AI 替你点按钮 | | 这个赛道都是付费服务 | Crawl4AI/Jina/Stagehand 都有免费路线 | ## 行动指南 今天就能做的三步： 1. **30 秒验证**：在终端跑 `curl https://r.jina.ai/https://你的目标网址`，亲眼看 markdown 输出 2. **十分钟上量**：`pip install crawl4ai && crawl4ai-setup`，跑官方 quickstart 抓一个页面出 markdown 3. **按需加深**：需要整站结构化去 firecrawl.dev 注册免费额度试 `/extract`；需要登录态抓取去 clone stagehand 仓库跑 example ## 参考来源 1. Firecrawl 官网与文档：https://www.firecrawl.dev 2. Crawl4AI 官网：https://crawl4ai.com 3. Crawl4AI 代码仓库：https://github.com/unclecode/crawl4ai 4. Stagehand 官方页面：https://www.browserbase.com/stagehand 5. Jina Reader（jina.ai 官网 Reader 服务）：https://jina.ai > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。