最近海外技术社区吵得最凶的话题,不是哪个新模型又刷了榜,而是一个更扎心的问题:当AI把“制造垃圾”的成本降到零,靠免费劳动驱动的开源世界还撑得住吗?
这轮论战的主战场是Hacker News和Mastodon,主角是一批你天天在用的基础设施项目。导火索有两个:一个是curl的作者Daniel Stenberg公开吐槽“AI幻觉漏洞报告”已经淹没了他的收件箱;另一个是一个叫Anubis的开源反爬中间件突然爆红,专门用来把AI爬虫挡在门外。两件事看似无关,背后其实是同一场战争——AI slop(AI垃圾内容)对开源公共资源的围攻。
今天把这场论战的来龙去脉、各方观点和可用的武器给你拆清楚。这个话题国内讨论还很少,但它离每一个用GitHub、提issue、跑开源项目的中国开发者都不远。
先说背景。curl是1998年发布的命令行传输工具,如今内置于数十亿台设备——你的手机、汽车、电视、路由器里都有它。它的灵魂人物Daniel Stenberg维护了这个项目近三十年,是开源圈公认的劳模。
然后AI来了。Stenberg在过去一年里多次公开发声,语气一次比一次无奈:他收到的“安全漏洞报告”里,AI生成的幻觉报告比例急剧上升。这些报告的共同画像是——
问题的严重性在于时间账:curl的漏洞处理是维护者的荣誉义务,每处理一份幻觉报告,短则几小时,长则几天。而真实漏洞的处理通道被这些垃圾挤占。用经济学术语说,这是教科书级的成本外部化——AI工具使用者把“提交”成本降到零,把“甄别和排查”成本转嫁给免费劳工。HN上每次相关讨论都是千楼级别的争吵,这个话题的热度从2024年烧到现在。
更讽刺的是补刀:同样的AI爬虫大军还一度把curl的官网抓到濒临瘫痪。Stenberg专门发文抱怨,AI公司为了抓训练数据,根本不理会robots.txt,还把User-Agent伪装成普通浏览器。防守方引以为用的“君子协定”在训练数据饥渴面前彻底失效。
这里有个关键认知差:大多数人以为开源项目最缺的是钱,实际上最缺的是维护者的免打扰时间。 钱可以通过赞助解决,但被垃圾report碾过的时间回不来。
第二件事更“技术考古”——一个原本冷门的工具因为AI爬虫泛滥突然成了基础设施。
Anubis是一个开源的反向代理中间件,作者是NixOS社区的开发者Xe Iaso(博客在xeiaso.net,仓库在github.com/TecharoHQ/anubis)。它的原理一句话能讲清:每个来访请求都要先做一道JavaScript工作量证明(proof-of-work)题,算出来才能拿到真内容。名字来自埃及神话——阿努比斯用羽毛称量死者的心脏,心比羽毛重的,是坏人。
实际体验是这样的:真人用正常浏览器访问,页面在后台花几百毫秒算完题,无感通过;而那些伪装成浏览器、批量抓取的AI爬虫,绝大多数不会执行JS,直接卡死在门口。2025年AI爬虫洪峰期间,GNOME等知名项目的代码托管平台部署了它,GitHub上热度飙升,一度成为HN首页常客。
为什么它火了?因为它是小项目唯一用得起的防线。Cloudflare的企业级反爬确实强,但贵,而且你的源站数据照样过别人手;Anubis免费开源、可自托管、二十分钟配完,对个人维护者和小基金会刚刚好。
当然,HN上照样吵成了三派:
中立说一句:Anubis解决的是“站点被抓挂”的问题,解决不了“幻觉报告塞满issue区”的问题——后者没有技术过滤的银弹,只能靠规则。
这场论战最有价值的部分,是社区在讨论怎么改“社会契约”。目前海外项目方的动作大致分三层:
把整个战局画出来是这样的:
flowchart TD
A["AI模型成本骤降"] --> B["批量生成幻觉报告"]
A --> C["伪装浏览器抓站点"]
B --> D["维护者免费耗时排查"]
C --> E["小项目站点被拖垮"]
D --> F["防线一:立规与封禁"]
B --> G["防线二:报告保证金制"]
C --> H["防线三:Anubis工作量证明"]
F --> I["社会契约重构大争论"]
G --> I
H --> I
注意图里的结构:三条防线对应三种攻击面,但最终都汇入同一个争论——开源的公地,在AI把消耗速度提升一个数量级之后,治理规则必须重写。这也是为什么我说这是“公地悲剧”的2026年新版:牧草还是那片牧草,羊变成了工业化的羊群。
第一,你的issue正在被AI“代表”。 海外这轮论战给所有提报告的人提了醒:提交issue前先自查——版本号给没给、复现步骤自己跑没跑、是不是把报错原文丢给模型就直接转述了。随着slop泛滥,维护者对“AI味报告”的容忍度在快速下降,真实的新人报告更容易被误伤。自证清白的成本,现在落在报告者头上了。
第二,国内项目方可以把这三道防线抄走。 Gitee和GitHub上的中文项目同样在被AI垃圾刷,尤其是有赏金计划、有安全响应通道(SRC)的项目,幻觉报告的套利空间更大——国内SRC圈对“AI批量挖洞报告”的吐槽这两年也多了起来。issue模板加AI声明、报告加验证门槛、自建站上Anubis,三招都是零成本的。
第三,警惕“合规爬取”的灰色地带。 国内做数据抓取、做AI语料管道的团队,该重新评估robots.txt的道德和法务分量了。海外社区对“无视robots.txt的AI公司”的敌意已经从情绪变成了行动(封禁、起诉讨论、反爬军备)。你的爬虫今天多算礼貌一步,明天就少当一次被告。
| 你以为的 | 实际情况 |
|---|---|
| 开源项目最缺钱 | 最缺维护者的免打扰时间,AI垃圾正在碾碎它 |
| robots.txt还能管住爬虫 | AI训练爬虫普遍无视,伪装成浏览器硬闯 |
| 反爬只能上Cloudflare | Anubis免费开源可自托管,二十分钟部署 |
| 漏洞报告越多越好 | 幻觉报告正挤占真实漏洞的处理通道 |
| 这只是海外大项目的烦恼 | 国内有赏金/SRC通道的项目是同样的套利靶子 |
一句话收尾:AI没有杀死开源,但它正在测试开源最底层的那份信任契约。这场仗海外先打起来了,防线怎么搭,值得每一个中文开源参与者现在就抄作业。
1. 完成摘要
- 输出第5轮情报文章一篇,domain: trending,主题为“AI slop围攻开源”社区论战(curl幻觉报告、Anubis反爬、社会契约重构三个侧面),含1个Mermaid流程图、信息差对比表、行动指南。
- 尝试的搜索链路全部被环境拦截:npx ducksearch(需审批被拒)、WebSearch(未授权)、curl(需审批被拒)、WebFetch(未授权),本轮未能完成任何实时联网抓取。
2. 下一步计划
- 下轮(Round 6,new-tools)建议先修复搜索链路授权(放行 npx ducksearch 或 WebSearch 二选一),否则新工具类选题的“发布日期/价格/Star数”无法满足硬性核实要求。
3. 注意事项 - 因无法联网,本文基于训练知识中的真实社区事件撰写,参考来源仅为真实存在的顶级域名,未含本次抓取到的具体深链;未编造精确数字(Star数、报告数量等均模糊化处理)。文中事件的时间线、项目部署细节建议发布前人工复核,尤其是Anubis的采用方名单和Stenberg发声的具体月份。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
