过去几周,海外技术社区的火药味不在模型评测榜上,而是在三个和“钱”有关的问题上:AI爬虫抓内容该不该付钱?万亿级算力开支是基建还是泡沫?套着开源皮的大模型到底算不算开源?这三场仗在 Hacker News、Reddit 和 X 上打了上百个回合,但中文圈的讨论大多停留在标题层面。今天把三笔账摊开给你看:谁在吵、吵什么、各自证据是什么,以及你能从中捞到什么实际动作。
先看整体格局:
flowchart TD
A["AI扩张要花三笔钱"] --> B["内容账:抓取要付费"]
A --> C["资本账:泡沫之辩"]
A --> D["品牌账:开源定义"]
B --> E["站长 vs 爬虫"]
C --> F["空头 vs 建设派"]
D --> G["OSI vs 大厂"]
背景。互联网的老规矩是 robots.txt:爬虫自己声明“我不爬”。这套君子协定在 AI 时代彻底失灵了。Cloudflare 在 2025 年中公布过一组量级对比:传统搜索爬虫大约抓 18 个页面才带回 1 次点击,而部分 AI 爬虫要抓上千个页面才换回 1 次访问(据 Cloudflare 2025 年公开数据)。内容网站成了 AI 公司的免费矿场,流量反而被 AI 直接回答截走了。
炸点。2025 年 7 月,Cloudflare 宣布 Pay per crawl 私测:站长给内容定价,AI 爬虫来抓时,服务器直接返回 HTTP 402(Payment Required)报价,爬虫付钱才能拿内容,Cloudflare 代收代付。同时它把“新注册域名默认屏蔽 AI 爬虫”做成了开关。技术上还配了 Web Bot Auth——爬虫用加密签名自报家门,冒充 Googlebot 的野爬虫当场现形。这不是一家的一时兴起:TollBit 等中间商在做同样的授权生意;Reddit 把数据授权给谷歌,据报道每年约 6000 万美元(2024 年 2 月,路透等报道);OpenAI 与新闻集团的内容合作据报道约 2.5 亿美元、为期五年(2024 年,WSJ 报道)。
三派观点。支持派认为这是内容互联网的救命钱,“注意力没用了,授权费才是新广告”;反对派主要是 AI 公司和小站站长,前者嫌贵,后者发现协议复杂度和代收抽成可能让小网站根本分不到几个钱,“最后又是大媒体的盛宴”;中立派(HN 上技术派居多)关注的是标准问题——HTTP 402 是 1990 年代就写进协议却一直没启用的状态码,现在靠 Cloudflare 一家私有服务来激活,会不会造成新的平台垄断,该不该交给 IETF 定公共标准。
给你看钱怎么流:
flowchart TD
PUB["内容站长"] -->|开启防护| CF["Cloudflare闸门"]
CF -->|返回402报价| BOT["AI爬虫"]
BOT -->|签名自报身份| CF
CF -->|校验身份| REG["爬虫身份库"]
REG -->|验签结果| CF
BOT -->|按次付费| CF
CF -->|放行内容| BOT
CF -->|分账| PUB
BOT -->|拒付| DENY["吃403空手归"]
中国用户的启示。国内的爬虫生态只会更“狂野”:Bytespider、GPTBot、ClaudeBot 这些 user-agent 你在自家网站日志里大概率都能找到。国内云厂商目前没有等价的按次收费产品,但你可以做三件事:查日志认清谁在爬、用 robots.txt 之外的 IP 限流和蜜罐挡野爬虫、如果你做内容出海,Cloudflare 的 AI Crawl Control 面板是现在唯一能“一键收钱”的入口。
背景。2025 年 9 月到 11 月,AI 资本开支的新闻密度堪比连续剧:英伟达官宣将向 OpenAI 投资至多 1000 亿美元、绑定 10 吉瓦算力部署(9 月 22 日);据报道 OpenAI 与甲骨文签下 5 年约 3000 亿美元的云租约(WSJ 等,9 月);10 月又轮到 AMD——6 吉瓦订单换 AMD 发行最多 1.6 亿股的认股权证,行权价近乎象征性。Altman 本人随后公开表示 OpenAI 手握约 1.4 万亿美元级别的基础设施承诺(2025 年 11 月访谈)。英伟达投资客户、客户再买英伟达芯片——HN 给这种结构起了个刺眼的名字:circular deals(循环交易)。
三派观点。
flowchart TD
NV["芯片厂"] -->|巨额投资| OA["头部AI实验室"]
OA -->|采购芯片| NV
OA -->|签长约租算力| CLOUD["云厂商"]
CLOUD -->|再买芯片| NV
FUND["私募信贷"] -->|借钱建数据中心| CLOUD
CRIT["泡沫派"] -->|质疑圈内空转| OA
BULL["建设派"] -->|回应真实需求| OA
中国用户的启示。别急着站队多空,盯三个先行指标比看观点有用:一是各大厂财报里“服务器折旧年限”注释栏的任何改动;二是数据中心融资里私募信贷占比的变化(借钱方从现金流巨头变成杠杆玩家才是危险信号);三是推理侧收入增速是否跟得上资本开支增速。对从业者来说更现实的是:无论泡沫破不破,算力的“过剩期”就是中小团队的降价窗口,历史上每一次产能过剩都孕育过便宜工具的黄金年代。
背景。2024 年 10 月 28 日,开源促进会(OSI)正式发布开源 AI 定义(OSAID 1.0):想叫“开源”,必须给齐三样东西——推理代码、足够详细的训练数据信息、模型参数。注意,不要求公开数据集本身。这一手直接把市场搅翻了:按这个标准,Llama 系列从来不是开源(许可证带商用门槛——月活超 7 亿要单独找 Meta 申请授权、要求保留 "Built with Llama" 标识、部分多模态版本在欧盟受限使用);而真正达标或接近达标的,反而是 DeepSeek(R1 用 MIT 许可,2025 年 1 月)和 Qwen 大部分模型(Apache 2.0)。
各方观点。OSI 和支持者认为,没有数据信息的“权重公开”只是 open-weight(开放权重),没有资格继承开源运动的道德资产和法律互操作性;反对阵营在 2025 年集结了一批欧洲政府机构和开源元老发出公开信,抨击 OSAID 定义“过度宽松又脱离现实”——大公司永远不可能交出数据,这个定义最后只会变成没有厂商愿意领的奖状(据公开报道)。HN 上每次相关新闻都会重现同一条高赞评论:别争名词了,看 LICENSE 文件。Meta 官方后来也悄悄更多使用 "open weights" 的说法,等于侧面认了账。
这场仗和中国用户的关系最大。因为结论反直觉:在全球“开源洗白”(openwashing)的口水战里,中国模型厂反而是被海外社区点名的“模范生”——DeepSeek 的 MIT、Qwen 的 Apache 2.0,比 Llama 的社区许可证干净得多。这意味着中文开发者把业务压在 Qwen/DeepSeek 的自部署上,许可证风险其实低于很多海外同行押注的“伪开源”。
给你一张实用判断清单,拿到任何“开源模型”先查三处:
| 话题 | 大多数人以为 | 海外圈吵的真相 | 你的动作 |
|---|---|---|---|
| 爬虫付费 | robots.txt 就够用 | 402 按次收费+爬虫签名认证正在成为新标准 | 查网站日志,认领自己的爬虫流量 |
| 算力泡沫 | 泡沫/不泡沫二选一 | 核心战场是折旧年限和融资结构 | 盯财报折旧注释和私募信贷占比 |
| 开源模型 | 挂开源就是开源 | OSI 定义下 Llama 不合格,DeepSeek/Qwen 反而达标 | 交业务前先查 LICENSE 和 Use Policy |
grep 命令统计 user-agent 日志,看看 GPTBot、ClaudeBot、Bytespider 各抓了你多少页面;出网站内容做生意的,去 Cloudflare 仪表盘找 AI Crawl Control 开关。三笔账其实是同一个问题:AI 创造的价值怎么分配——内容方想分回授权费,资本方在争报表上的真实利润,开源社区在争定义权。谁掌握“标准”,谁就掌握抽成权。HTTP 402 是三十年前就写好的标准,OSAID 是刚定的新标准,折旧准则是财报里的老标准——海外社区吵的从来不是观点,是标准。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
