导语： 2026年9月7日的 Hacker News 首页，有两个故事几乎并排挂着：一个是「It took a year to ship WebAssembly in Anubis」（131分、81条评论），一个是「Nitter and XCancel resume service after legal advice」（438分、234条评论）。一个是小网站用代码硬刚AI爬虫，一个是开源项目靠法律意见书死里逃生。而它们背后共同的推手，是9月3日刚发布的 GPT-6 Astra——一个会像人一样操作电脑的模型。今天这篇文章，把这三块拼图凑齐，你会看到海外小网站自卫战的全貌，以及你能直接抄走的防御方案。
flowchart TD
A["AI训练与Agent浪潮"] --> B["爬虫流量暴涨"]
B --> C["小网站：带宽账单爆炸"]
C --> D["路线一：技术防御 Anubis"]
C --> E["路线二：法律周旋 Nitter/XCancel"]
D --> F["浏览器先过 JS 加 WASM 工作量证明"]
F --> G["真人用户：多等几秒 放行"]
F --> H["纯脚本爬虫：门外罚站"]
E --> I["凭法律意见恢复服务"]
过去两年，AI公司为了训练数据把全网翻了个底朝天，小网站、个人博客、开源社区文档首当其冲。现在第二轮压力来了：Agent 型产品不再只是“抓内容”，而是像人一样打开浏览器点鼠标。你的防御体系还停留在封 User-Agent 的阶段吗？那基本等于用门闩挡推土机。
先说数据：这条帖子由 xena（Techaro 创始人）提交，4小时冲上首页，131分81评。“花了一整年才把 WebAssembly 塞进去”——这个标题本身就是信息，它告诉你：连反爬这个细分领域的头部开源项目，一个功能迭代都要打磨一年。
Anubis 是什么？ 我直接扒了它的 GitHub 仓库（TecharoHQ/anubis）README，官方定位是 "Web AI Firewall Utility"——网页AI防火墙。它的核心机制说得很有味道："weighs the soul of your connection"（称量你连接的灵魂），典故来自古埃及神话的称心仪式。实际操作就是：流量到达源站之前，先让浏览器做一道工作量证明（Proof-of-Work）质询。真人浏览器多等几秒就过，纯脚本爬虫因为没有完整JS执行环境，直接卡在门外。
为什么值得关注？三个点：
但官方自己就把丑话说在前面（这部分最值得细品）：README 明确承认 Anubis 是 "a bit of a nuclear response"（核弹式方案），会误伤 Internet Archive 这类好爬虫，需要手动配置 bot policy 白名单放行；并且大多数场景下用 Cloudflare 就够了。项目文档在 anubis.techaro.lol，据 repology 打包徽章显示，主流发行版里它的包名是 anubis-anti-crawler。
同一时刻，首页第27位挂着另一条：Nitter 和 XCancel 恢复服务，438分234评，热度比 Anubis 高三倍。Nitter 是知名的第X方（原第三方）Twitter 前端，维护者是 GitHub 上的 zedeus。
这类服务的生存逻辑和 Anubis 完全相反：Anubis 是站长主动拦截爬虫，Nitter 本质上是“平台爬虫”——它替你去抓 X 的内容再转译呈现，天然站在平台法务的对立面。据 HN 帖子标题信息，这次恢复服务的直接原因是「after legal advice」（获得法律意见之后）。具体和解条款、运营边界如何，目前以项目方公告为准，我没有抓到更多确证细节，这里不脑补。
这两个故事放在一起看才有味道： 技术路线的答案是“把算力成本转嫁给爬虫”，法律路线的答案是“把合规风险转嫁给律师”。小玩家在 AI 时代的生存哲学，就这两句话。
9月3日 OpenAI 发布 GPT-6 Astra，我抓了官方发布页全文，几个跟中国开发者强相关的硬数据：
gpt-6-astra，同步上线 Azure 和 AWS Bedrock。这对爬虫攻防意味着什么？ 以下是我的推演（个人观点，非官方说法）：当 Agent 会真的打开浏览器、执行 JS、模拟点击，传统的 UA 封锁、IP 限速全部失效——因为流量特征和真人几乎一样。这时候 Anubis 的工作量证明反而成了更通用的防线：不管你是 curl 还是百亿参数 Agent，想过门就得交“算力税”。一次质询对单个 Agent 不算什么，但乘以每天百万级页面请求，成本曲线就倒过来了。这场军备赛才刚开场。
| 阵营 | 核心观点 | 依据 |
|---|---|---|
| 支持方 | 自托管反爬是“小互联网”的刚需 | Anubis 赞助商阵容 + HN 热度 |
| 质疑方 | 核弹式方案误伤好爬虫，多数人该用 Cloudflare | Anubis README 原文自述 |
| 观察派 | 法律路线脆弱，技术路线成本高，Agent 会让两边都失效 | Astra computer use 数据（推演） |
同期 HN 首页还有 OpenAI 官方9月6日的《Research acceleration: The view inside OpenAI》（104分75评），社区对“研究加速”内部视角的讨论热度不低，感兴趣可以顺藤摸瓜。
grep -iE "gptbot|claudebot|bytespider|perplexitybot" access.log | wc -l
占比超过10%，就该考虑上质询层了。 2. 没有CDN的源站，Anubis是最后防线。 Docker 一行起来，挂在 Nginx/Caddy 后面，记得白名单放行搜索引擎和 Internet Archive。 3. 做Agent产品的注意战场转移。 computer use 已是SOTA主战场，$10/$50 的定价意味着单任务成本在快速下降，表单自动化、前端QA这些场景现在可以算ROI了。 4. 搞安全对齐研究的，去精读 Astra 的 System Card。 “不可能任务越界率”这套评估方法论很新鲜，国内还很少有人系统介绍。
| 你以为的 | 实际情况 |
|---|---|
| 反爬就是 Cloudflare 人机验证 | 开源自托管方案 Anubis 已迭代到 WASM 工作量证明 |
| 爬虫还是 curl 抓 HTML | Astra 级 Agent 会像人一样操作浏览器，特征与真人无异 |
| Nitter 早就死了 | 9月初刚凭法律意见恢复，HN 438分热议 |
| 封 UA 就够 | 工作量证明是对 Agent 唯一普适的“算力税”（推演） |
gpt-6-astra 跑一个 computer use 的最小验证（比如自动填表单），记录 token 消耗和成本，和人工对比。本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。