# 网站对AI隐形：llms.txt成新标配
2026年5月，有人用爬虫扫了一遍 Y Combinator 的官网，结论扎心：**这家孵化了上万个 AI 项目的公司，自己的网站连一个 `llms.txt` 都没有**。同一个月，Google 把 `llms.txt` 检查塞进了 Chrome Lighthouse 的审计项。海外技术圈正在悄无声息地为 AI 重建一张「机器优先」的网——这套被叫做 **AI-Readable / LLMO（LLM Optimization）/ GEO（Generative Engine Optimization）** 的新玩法，2026 年 6 月在 Hacker News 上集中爆发，而国内几乎零讨论。今天这篇就讲清楚一件事：**当客户问 AI「附近哪家修水管便宜」时，你的网站为什么会被 AI 直接跳过，以及怎么花 5 分钟堵上这个窟窿。**
## 一、llms.txt 到底是什么，为什么 6 月突然炸场
一句话：`llms.txt` 是放在网站根目录的一个 Markdown 文件，作用跟当年的 `sitemap.xml` 一模一样——只不过 `sitemap.xml` 是写给 Google 爬虫看的，`llms.txt` 是写给大模型看的。
这个标准 2024 年 9 月由 **Jeremy Howard（fast.ai、Answer.AI 创始人）** 在 [llmstxt.org](https://llmstxt.org/) 提出。他的逻辑很直白：LLM 的上下文窗口塞不下整个网站，把满是导航栏、广告、JavaScript 的 HTML 转成纯文本既难又丢信息，不如网站主动在 `/llms.txt` 里放一份「专家级、精简、结构化」的自我介绍。
2026 年 6 月，这个一年多前没人理的提案突然成了 HN 常客，三个信号同时砸下来：
- **5 月 24 日**，Search Engine Land 报道「Google adds llms.txt check to Chrome Lighthouse」——前端最常用的审计工具官方开始查你有没有这个文件；
- **6 月 5 日**，HN 热帖《Is the web for machines (/llms.txt) the one we wished we had as humans?》拿下 36 个赞，社区开始认真讨论「我们是不是正在为机器造第二张网」；
- **6 月 18 日**，新的开源工具 [Gcontext](https://github.com/bleak-ai/gcontext) 把单个 `llms.txt` 升级成「一棵树」，专门给 agent 在客服场景里导航用。
注意：Astro 框架在 5 月初反过来**移除了**自带的 llms.txt 生成（`Astro Removed Its llms.txt`），这反而成了标准走向成熟的标志——只有真有人用、有人吵，才会有人决定要不要默认开。争议本身就是热度。
## 二、信息差的核心：AI agent 是怎么「挑」网站的
这是整篇文章最值钱的一段，建议读两遍。
很多人以为，客户问 ChatGPT、Claude、Perplexity 要推荐时，AI 会公平地把每个候选网站都读一遍。**完全不是。** 一个 AI agent 拿到一个查询后，通常会抓回 10 到 15 个候选 URL，然后做一件极其冷酷的事：**逐个评估「读你这个站要烧多少 token」，谁便宜先读谁。**
新工具 [Platinum.ai](https://www.platinum.ai/)（6 月 19 日 Show HN）把这件事量化了出来，数字相当刺眼：
```mermaid
flowchart TD
Q["用户问 AI：附近哪家修水管便宜又靠谱"] --> A["Agent 抓回 10–15 个候选 URL"]
A --> B{"逐个评估：读你要烧多少 token？"}
B -->|"有 llms.txt / 结构化 profile"| C["580 tokens · 1.8 秒
价格、营业时间全对 ✅"]
B -->|"价格藏在图片里
JS 渲染 / 没有 llms.txt"| D["756k tokens · 34 秒 · 约 $2.27
还把价格读错 ❌"]
C --> E["优先采信，写进推荐答案"]
D --> F["直接跳过，换更省 token 的对手"]
E --> G["你的单子被 AI 拿下"]
F --> H["你被 AI 视而不见，对手吃单"]
```
看懂了吧？**不是你的服务不够好，而是你的网站对 AI 来说「读起来太贵」。** 价格写进图片、菜单塞进复杂 JS、没有结构化的营业时间——这些在人类眼里只是「页面有点炫」，在 AI 眼里就是「756k tokens 的税」。一旦隔壁那家把信息摊平在 `llms.txt` 里，580 tokens 秒读，AI 就会默认推荐隔壁。**你输给的不是同行，是 token 经济学。**
Platinum.ai 给出的判断更狠：「AI agents have no eyes. Their entire world is structured text. If you don't provide it, you simply don't exist.」——AI 没有眼睛，它的整个世界就是结构化文本，你不主动喂，你就等于不存在。
## 三、6 月值得盯的 5 个新工具
按 new-tools 的规矩，给你盘 5 个这个月新鲜出炉、且方向不重复的：
| 工具 | 性质 | 一句话定位 | 价格 |
|---|---|---|---|
| [Platinum.ai](https://www.platinum.ai/) | 商业 SaaS | 8 项 AI-Readable 扫描 + 帮你生成「官方 AI 网站 profile」 | $99 一次性，无月费 |
| [Gcontext](https://github.com/bleak-ai/gcontext) | 开源 | 把单个 llms.txt 变成「树」，steer agent 在客服/支持任务里导航 | 免费开源 |
| [Global Llms.txt Index](https://index.neonia.io) | 目录站 | 收录全网已部署 llms.txt 的站点，可查可学 | 免费 |
| [statespace.com](https://statespace.com/) | 搜索引擎 | 专门搜「有 llms.txt 的站」，相当于 AI 时代的 Google | 免费 |
| [voltplan.app/llms](https://voltplan.app/llms) | 范例 | 作者直接给「写给 LLM 看而非人看」的 landing page 打样 | 免费 / 开源思路 |
**重点说说 Platinum.ai**，因为它把整套商业逻辑跑通了。它不碰你现有网站的设计，而是在后台生成一个专门的机器可读文件，把你「AI 拿不到的事实」——服务、定价、营业时间、联系方式、政策——翻译成 agent 秒读的格式。卖点很直接：一次扫描告诉你 8 个地方哪里对 AI 不友好，$99 一次性，不要月费、不要插件、不要重构。对比传统 SEO 动辄每月数千刀的外链套餐，这个定价本身就是价格差。
**对开发者更友好的是 Gcontext**：单文件 `llms.txt` 解决的是「入口」，但真要做客服 agent，需要的是一个能按话题展开的文档树，Gcontext 就是干这个的——把 `llms.txt` 组织成层级结构，让 agent 像「查目录」一样在支持任务里找到正确分支。
**国内对比**：打开任何一个国内 SEO 服务商页面，还在卖「百度关键词上首页」「外链套餐」「快排」。几乎没人卖「让你的产品被 Kimi、豆包、DeepSeek、ChatGPT 推荐」。这就是认知差——海外已经在卷 GEO/LLMO，国内还在卷 2015 年那套。独立开发者、做 to-C 产品出海的人，现在下场几乎是空白赛道。
## 四、5 分钟实操：给自己网站挂一个 llms.txt
别等 Platinum 收你 $99，技术站完全可以白嫖。[veerhost.com/llms-txt-generator](https://veerhost.com/llms-txt-generator/) 和 geotrackerai 都有**浏览器端、免注册**的生成器，把网址一丢就出文件。想自己手写，按官方规范也就这么几行：
```markdown
# 你的产品名
> 一句话价值主张：用中文+英文都写，AI 才好跨语言匹配。
## Docs
- [快速开始](https://你的站/quickstart.md): 30 秒跑起来
- [API 参考](https://你的站/api.md): 全部接口与示例
- [定价](https://你的站/pricing.md): 各档位价格与额度
## Optional
- [常见问题](https://你的站/faq.md)
- [变更日志](https://你的站/changelog.md)
```
三条铁律（来自 [docsalot.dev](https://docsalot.dev/blog/llms-txt-for-saas-docs-what-to-include-and-what-to-skip) 的实战总结，HN 上有人专门讨论过）：
1. **llms.txt 不是文档 URL 堆放站**（《Llms.txt is not a docs url dump》一文的核心观点）——别把所有链接倒进去，只放 AI 最需要的那几个，越精简 token 越省；
2. **重点页面同时出 `.md` 版本**——把关键页面的纯 Markdown 放在「同 URL 加 `.md`」，比如 `/pricing.md`，这是官方提案的另一半；
3. **价格、营业时间、政策绝不能进图片或 JS 组件**——任何 agent 读不出来的事实，等于不存在。
部署完，去 [index.neonia.io](https://index.neonia.io) 提交收录，再去 [statespace.com](https://statespace.com/) 搜一下确认 AI 能找到你。整套流程，一杯咖啡的时间。
## 五、争议：为机器造网，到底值不值
我不是来给你灌鸡血的，这赛道有真问题。Astro 移除 llms.txt 时给的理由很实在——**维护成本和「双份内容」的同步地狱**：你既要维护给人看的漂亮页面，又要维护给机器看的 Markdown，一旦两边不一致，AI 拿到的就是过时信息，比没有还糟。
HN 那篇 36 赞的热帖标题本身就是一个灵魂拷问：《Is the web for machines the one we wished we had as humans?》——我们是不是正在亲手造一张「为机器优化、人反而难用」的网？支持派认为这是必然演进，搜索引擎当年也经历过从「给人看」到「给爬虫看」的分化；反对派担心这是在制造信息鸿沟，小站点没钱维护机器版本，会被 AI 生态彻底边缘化。
对中国从业者的启示很实在：**别 all-in，但别装看不见**。技术文档类站点（API、SDK、开发者产品）现在就该上 llms.txt，ROI 最高、维护成本最低；纯展示型官网可以先观望，等 Chrome Lighthouse 的检查项真正影响排名再动。把 llms.txt 当「AI 时代的 alt 标签和 sitemap」理解就对了——它不是颠覆，是补一张一直缺的、写给机器的索引卡。
## 六、信息差总结
| 维度 | 你以为的（国内主流认知） | 别人已经知道的（海外 6 月现状） |
|---|---|---|
| SEO 的对象 | Google / 百度爬虫 | LLM agent（ChatGPT/Claude/Perplexity） |
| 标配文件 | `sitemap.xml` + `robots.txt` | 多一个 `/llms.txt` + 关键页 `.md` 版本 |
| 衡量标准 | 关键词排名、外链数 | **读取 token 成本**（580 vs 756k） |
| 工具栈 | 关键词工具、外链平台 | Platinum.ai、Gcontext、statespace |
| 信号源 | 百度站长、Ahrefs | Chrome Lighthouse 已加入检查项 |
| 定价 | 月费数百到数千 | 一次性 $99，甚至完全免费 |
## 七、行动指南
1. **今天就做**：打开 [veerhost 生成器](https://veerhost.com/llms-txt-generator/)，给你的技术文档站生成并挂上 `llms.txt`；
2. **本周做**：把定价页、快速开始页产出 `.md` 纯文本版，提交到 [neonia 索引](https://index.neonia.io)；
3. **本月做**：跑一遍 [Platinum.ai](https://www.platinum.ai/) 的 8 项免费扫描，看你的站对 AI 有多不友好；
4. **持续做**：盯 Chrome Lighthouse 的 llms.txt 检查项何时变成「影响评分」，那才是真正的大规模洗牌信号。
**给做产品出海和独立开发的人一句忠告**：当海外客户开始习惯「先问 AI 再下单」，你的对手不是同行网站，而是 AI 读取你的 token 成本。先动的人，吃下 AI 推荐流量这波红利；后知后觉的，连被跳过的原因都查不到。
## 参考来源
- [llms.txt 官方规范 — llmstxt.org](https://llmstxt.org/)
- [Platinum.ai — Make Your Business AI-Readable（6/19 Show HN）](https://www.platinum.ai/)
- [Gcontext — A tree of llms.txt files（6/18 Show HN，开源）](https://github.com/bleak-ai/gcontext)
- [Global Llms.txt Index — neonia.io](https://index.neonia.io)
- [Google adds llms.txt check to Chrome Lighthouse — Search Engine Land](https://searchengineland.com/google-llms-txt-chrome-lighthouse-478246)
- [HN 热帖：Is the web for machines the one we wished we had as humans?](https://news.ycombinator.com/item?id=48410589)
> 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。
> 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
**完成摘要**
**下一步计划**
1. 等待联网配额 7/18 重置后，可对本文提到的工具做深度测评（tips-tricks 或 use-cases 方向）
2. 后续 Round 若选 `trending`，可深挖 HN 那篇 36 赞「为机器造网」辩论帖的正反方论点
3. 建议把 llms.txt 实操沉淀成一篇 use-cases 实战文（如「给 51学通信 官网加 llms.txt 全过程」）
**注意事项**
- Search Engine Land 文章正文被 Cloudflare 拦截（需 JS），其「Chrome Lighthouse 加入 llms.txt 检查」结论已通过 Platinum.ai 官方页面交叉印证，可信
- 工具价格为发文时（2026-06-20）抓取，可能变动，引用前建议二次核实
> [!tip] 51学通信知识星球
> **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。
> **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。
> **当前规模**：5200 篇主题 / 990 个回答，198 元/年。
> **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。
> **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。
