# AI吃光网站流量：海外吵翻的爬虫付费战 **导语：** 当AI直接把答案端到用户面前，网站流量正在断崖式下跌。海外内容圈为此吵翻了天：该不该拦AI爬虫？内容该不该按次收费？2025年7月起，Cloudflare用两步棋把这场争论推向了实战——对新域名默认拦截AI爬虫，并推出Pay Per Crawl按次付费内测。这篇文章帮你搞清楚：三大阵营在吵什么、数据有多惨、中文站长和内容创作者能抄什么作业。 ## 一、背景：流量塌方不是狼来了 先看几组被反复引用的数据（次要细节以各来源披露为准）： - **零点击搜索成主流。** 据SparkToro 2024年研究，美国约六成Google搜索以“零点击”结束——用户看了AI摘要或精选摘要就直接走人。Google AI Overviews上线后，多家海外媒体的搜索流量出现两位数下滑，The Atlantic等媒体高管先后在公开场合抱怨“搜索带来的读者正在消失”。 - **某百科也扛不住。** 据Wikimedia基金会2025年披露：一方面AI爬虫疯狂抓取导致带宽成本自2024年以来暴涨约五成；另一方面AI摘要分流导致人类访问量出现两位数下滑（约两成多）。两头挨打，官方罕见地公开求救。 - **开发者社区同样失血。** Stack Overflow提问量自ChatGPT出现后持续下滑，社区自己发博客承认“流量近乎腰斩”。算法层博主David Robinson的分析被广泛引用。 支撑这些数据的底层逻辑很直白：**AI搜索的价值抽取发生在原站之外**。以前Google把用户送到你家门口，现在Perplexity、ChatGPT search、AI Overviews直接把内容嚼碎了喂给用户，引用一个链接都算客气。这个事实，Cloudflare、Wikimedia和多家媒体（TechCrunch、Wired、The Verge均有报道）形成了交叉印证，可信度高。 ## 二、主战场：Cloudflare的两步棋 ### 第一步：默认拦截（2024年7月起，2025年7月升级） Cloudflare 2024年7月给所有客户上线“一键拦截AI爬虫”；2025年7月1日更进一步：**新注册域名默认开启AI爬虫拦截**。这是互联网基础设施巨头第一次把“同意制”做成默认值——AI公司想抓内容，得先获得许可。官方博客原话大意是：内容创作者值得拥有控制权和回报。 顺带一提那次著名的风波：Wired与Cloudflare联合调查指控Perplexity的爬虫伪装成普通浏览器绕过拦截（Perplexity否认），Cloudflare随后将其移出“已验证爬虫”名单。这件事让“AI公司嘴上说开放、手上偷偷抓”成为社区热梗，也成了默认拦截的最强论据。 ### 第二步：Pay Per Crawl（按次收费） 2025年7月同步内测的Pay Per Crawl：网站主给内容定单价，AI爬虫每次抓取按千次计费，走HTTP 402状态码完成 machine-to-machine 支付——抓不到许可就回402，要么付钱要么走人。价格由网站主在Cloudflare Marketplace自定。国内很少有人注意到：**这相当于给“内容”重新发明了一种计费协议**，搜索引擎时代靠广告分成的模式，正在被“按抓取次数付费”挑战。 ```mermaid flowchart TD A["网站内容"] -->|免费抓取| B["AI训练与搜索爬虫"] B --> C["AI直接给出答案"] C -->|用户不再点进原站| D["原站流量下滑"] D --> E["阵营一：封锁收费"] D --> F["阵营二：拥抱开放"] D --> G["阵营三：GEO实用派"] E --> E1["Cloudflare默认拦截"] E --> E2["Pay Per Crawl按次付费"] E --> E3["平台数据授权交易"] F --> F1["llms.txt开放摘要"] F --> F2["开放许可换曝光"] G --> G1["内容结构化改造"] G --> G2["抢占AI引用位"] ``` ## 三、三大阵营在吵什么 **阵营一：封锁收费派（出版巨头、Reddit、Cloudflare）** 核心主张：内容是有成本的，AI白嫖不可持续。Reddit是先行者——据Reuters 2024年2月报道，Reddit与Google签下约每年6000万美元的数据授权协议，此前还和OpenAI单独签了约；据WSJ报道，新闻集团（News Corp）与OpenAI的合同超2.5亿美元/5年。这派的观点在流量数据面前越来越硬气。 **阵营二：拥抱开放派（独立开发者、开放网络社区）** 核心主张：拦截=自我封杀。AI答案里的引用是新流量入口，被引用总比被遗忘强。这派推llms.txt协议（Jeremy Howard的Answer.AI在2024年提出）：在网站根目录放一个精简的Markdown文件，告诉LLM“我的站里什么最值得读”。不过阵营内部也有争吵——Google方面曾表示没有使用llms.txt的证据，社区为此吵了几轮：“精心写个没人读的文件，算自我安慰吗？” **阵营三：GEO实用派（SEO从业者转型）** 核心主张：拦不拦看场景，能被引用的先吃到肉。GEO（Generative Engine Optimization，生成式引擎优化）这个词最早来自Princeton团队2023年底的arXiv论文，2025年在海外营销圈彻底走红。玩法和SEO不同：AI更喜欢引用带具体数据、结论前置、结构清晰的段落——所以GEO practitioners在重写内容结构，而不是堆关键词。 Reddit（r/SEO、r/bigseo）上大量站长晒图：AI Overviews上线后自然流量跌三到七成，但**被AI引用的页面反而带来高质量转化**。这成了中立派最常引用的证据。 ## 四、对中国用户的启示（信息差核心） 1. **中文生态没有“付费抓取”基础设施，被白嫖得更彻底。** 百度、字节的AI搜索同样在抽取内容，但中文站长连Cloudflare级别的控制开关都很少用。会配置拦截和许可的中文站长，现在做还来得及。 2. **GEO是SEO人最后的转型窗口。** 国内讲GEO的还停留在名词解释阶段，海外已经进入“结构化改造+引用监测”的执行期。这个认知差至少还有半年到一年。 3. **数据授权模式值得出海者研究。** 如果你做出海内容产品，Reddit式“数据换现金”的合同结构可以直接抄——海外已有成熟先例和报价锚点（每年6000万美元这个数字就是行业锚）。 4. **独立开发者别急着站队。** 折中策略已被验证：训练类爬虫（GPTBot、ClaudeBot、Bytespider）拦截，搜索类爬虫（OAI-SearchBot、PerplexityBot等）放行——既防白嫖训练，又保住引用曝光。 ## 五、行动指南（今天就能做） 1. **先看谁在抓你。** 上 darkvisitors.com 查AI爬虫名单；有服务器权限的，grep一下访问日志里的 `GPTBot`、`ClaudeBot`、`PerplexityBot`、`Bytespider`。 2. **Cloudflare用户：** Dashboard → Bots / AI Crawl Control，逐个开关。原则：训练爬虫拦，搜索爬虫放。付费意向强的站点可以申请Pay Per Crawl内测。 3. **无Cloudflare：** robots.txt里手动加拦截段，OpenAI各爬虫的官方说明在 openai.com/bot 可查。 4. **加一个 llms.txt：** 站点根目录放精简摘要（几十行以内，列核心页面链接），成本十分钟，成本收益比目前最高的开放动作。 5. **每月做一次“引用体检”：** 在Perplexity和ChatGPT search里搜你的品牌词和核心内容词，记录被引用情况——这就是GEO时代的“排名查询”。 ## 六、信息差总结 | 维度 | 大多数人知道的 | 实际正在发生的 | |------|--------------|--------------| | 流量趋势 | “AI搜索是新流量入口” | 零点击约六成，原站流量两位数下滑 | | AI爬虫 | “管不了，随它抓” | Cloudflare已把拦截做成新域名默认值 | | 内容变现 | 只能靠广告/订阅 | Pay Per Crawl按抓取次数计费，HTTP 402协议 | | Reddit | “一个社区而已” | 与Google数据授权约6000万美元/年，成了定价锚 | | 优化方向 | SEO堆关键词 | GEO重结构：结论前置、带数据、可被直接引用 | **一句话结论：** 这场争论没有赢家预设，但有一条已经确定——**内容的控制权正在从“默认开放”转向“默认收费”**。早一步学会拦截、许可、GEO这套组合拳的人，会在AI搜索时代拿到免费时代的最后红利。 ## 参考来源 1. Cloudflare官方博客：Pay Per Crawl与默认拦截公告 — blog.cloudflare.com/introducing-pay-per-crawl/ 2. OpenAI爬虫官方文档（GPTBot、OAI-SearchBot等说明与robots规则）— openai.com/bot 3. llms.txt协议官网 — llmstxt.org 4. AI爬虫名单与识别库 — darkvisitors.com 5. Reuters（2024-02）：Reddit与Google达成AI内容授权协议（约6000万美元/年）；WSJ（2024-05）：News Corp与OpenAI合作超2.5亿美元 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。