导语： 当AI直接把答案端到用户面前，网站流量正在断崖式下跌。海外内容圈为此吵翻了天：该不该拦AI爬虫？内容该不该按次收费？2025年7月起，Cloudflare用两步棋把这场争论推向了实战——对新域名默认拦截AI爬虫，并推出Pay Per Crawl按次付费内测。这篇文章帮你搞清楚：三大阵营在吵什么、数据有多惨、中文站长和内容创作者能抄什么作业。
先看几组被反复引用的数据（次要细节以各来源披露为准）：
支撑这些数据的底层逻辑很直白：AI搜索的价值抽取发生在原站之外。以前Google把用户送到你家门口，现在Perplexity、ChatGPT search、AI Overviews直接把内容嚼碎了喂给用户，引用一个链接都算客气。这个事实，Cloudflare、Wikimedia和多家媒体（TechCrunch、Wired、The Verge均有报道）形成了交叉印证，可信度高。
Cloudflare 2024年7月给所有客户上线“一键拦截AI爬虫”；2025年7月1日更进一步：新注册域名默认开启AI爬虫拦截。这是互联网基础设施巨头第一次把“同意制”做成默认值——AI公司想抓内容，得先获得许可。官方博客原话大意是：内容创作者值得拥有控制权和回报。
顺带一提那次著名的风波：Wired与Cloudflare联合调查指控Perplexity的爬虫伪装成普通浏览器绕过拦截（Perplexity否认），Cloudflare随后将其移出“已验证爬虫”名单。这件事让“AI公司嘴上说开放、手上偷偷抓”成为社区热梗，也成了默认拦截的最强论据。
2025年7月同步内测的Pay Per Crawl：网站主给内容定单价，AI爬虫每次抓取按千次计费，走HTTP 402状态码完成 machine-to-machine 支付——抓不到许可就回402，要么付钱要么走人。价格由网站主在Cloudflare Marketplace自定。国内很少有人注意到：这相当于给“内容”重新发明了一种计费协议，搜索引擎时代靠广告分成的模式，正在被“按抓取次数付费”挑战。
flowchart TD
A["网站内容"] -->|免费抓取| B["AI训练与搜索爬虫"]
B --> C["AI直接给出答案"]
C -->|用户不再点进原站| D["原站流量下滑"]
D --> E["阵营一：封锁收费"]
D --> F["阵营二：拥抱开放"]
D --> G["阵营三：GEO实用派"]
E --> E1["Cloudflare默认拦截"]
E --> E2["Pay Per Crawl按次付费"]
E --> E3["平台数据授权交易"]
F --> F1["llms.txt开放摘要"]
F --> F2["开放许可换曝光"]
G --> G1["内容结构化改造"]
G --> G2["抢占AI引用位"]
阵营一：封锁收费派（出版巨头、Reddit、Cloudflare） 核心主张：内容是有成本的，AI白嫖不可持续。Reddit是先行者——据Reuters 2024年2月报道，Reddit与Google签下约每年6000万美元的数据授权协议，此前还和OpenAI单独签了约；据WSJ报道，新闻集团（News Corp）与OpenAI的合同超2.5亿美元/5年。这派的观点在流量数据面前越来越硬气。
阵营二：拥抱开放派（独立开发者、开放网络社区） 核心主张：拦截=自我封杀。AI答案里的引用是新流量入口，被引用总比被遗忘强。这派推llms.txt协议（Jeremy Howard的Answer.AI在2024年提出）：在网站根目录放一个精简的Markdown文件，告诉LLM“我的站里什么最值得读”。不过阵营内部也有争吵——Google方面曾表示没有使用llms.txt的证据，社区为此吵了几轮：“精心写个没人读的文件，算自我安慰吗？”
阵营三：GEO实用派（SEO从业者转型） 核心主张：拦不拦看场景，能被引用的先吃到肉。GEO（Generative Engine Optimization，生成式引擎优化）这个词最早来自Princeton团队2023年底的arXiv论文，2025年在海外营销圈彻底走红。玩法和SEO不同：AI更喜欢引用带具体数据、结论前置、结构清晰的段落——所以GEO practitioners在重写内容结构，而不是堆关键词。
Reddit（r/SEO、r/bigseo）上大量站长晒图：AI Overviews上线后自然流量跌三到七成，但被AI引用的页面反而带来高质量转化。这成了中立派最常引用的证据。
GPTBot、ClaudeBot、PerplexityBot、Bytespider。| 维度 | 大多数人知道的 | 实际正在发生的 |
|---|---|---|
| 流量趋势 | “AI搜索是新流量入口” | 零点击约六成，原站流量两位数下滑 |
| AI爬虫 | “管不了，随它抓” | Cloudflare已把拦截做成新域名默认值 |
| 内容变现 | 只能靠广告/订阅 | Pay Per Crawl按抓取次数计费，HTTP 402协议 |
| “一个社区而已” | 与Google数据授权约6000万美元/年，成了定价锚 | |
| 优化方向 | SEO堆关键词 | GEO重结构：结论前置、带数据、可被直接引用 |
一句话结论： 这场争论没有赢家预设，但有一条已经确定——内容的控制权正在从“默认开放”转向“默认收费”。早一步学会拦截、许可、GEO这套组合拳的人，会在AI搜索时代拿到免费时代的最后红利。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。