首页 › new-tools › 网站对AI隐形：llms.txt成新标配

网站对AI隐形：llms.txt成新标配

2026年5月，有人用爬虫扫了一遍 Y Combinator 的官网，结论扎心：这家孵化了上万个 AI 项目的公司，自己的网站连一个 llms.txt 都没有。同一个月，Google 把 llms.txt 检查塞进了 Chrome Lighthouse 的审计项。海外技术圈正在悄无声息地为 AI 重建一张「机器优先」的网——这套被叫做 AI-Readable / LLMO（LLM Optimization）/ GEO（Generative Engine Optimization） 的新玩法，2026 年 6 月在 Hacker News 上集中爆发，而国内几乎零讨论。今天这篇就讲清楚一件事：当客户问 AI「附近哪家修水管便宜」时，你的网站为什么会被 AI 直接跳过，以及怎么花 5 分钟堵上这个窟窿。

一、llms.txt 到底是什么，为什么 6 月突然炸场

一句话：llms.txt 是放在网站根目录的一个 Markdown 文件，作用跟当年的 sitemap.xml 一模一样——只不过 sitemap.xml 是写给 Google 爬虫看的，llms.txt 是写给大模型看的。

这个标准 2024 年 9 月由 Jeremy Howard（fast.ai、Answer.AI 创始人） 在 llmstxt.org 提出。他的逻辑很直白：LLM 的上下文窗口塞不下整个网站，把满是导航栏、广告、JavaScript 的 HTML 转成纯文本既难又丢信息，不如网站主动在 /llms.txt 里放一份「专家级、精简、结构化」的自我介绍。

2026 年 6 月，这个一年多前没人理的提案突然成了 HN 常客，三个信号同时砸下来：

注意：Astro 框架在 5 月初反过来移除了自带的 llms.txt 生成（Astro Removed Its llms.txt），这反而成了标准走向成熟的标志——只有真有人用、有人吵，才会有人决定要不要默认开。争议本身就是热度。

二、信息差的核心：AI agent 是怎么「挑」网站的

这是整篇文章最值钱的一段，建议读两遍。

很多人以为，客户问 ChatGPT、Claude、Perplexity 要推荐时，AI 会公平地把每个候选网站都读一遍。完全不是。 一个 AI agent 拿到一个查询后，通常会抓回 10 到 15 个候选 URL，然后做一件极其冷酷的事：逐个评估「读你这个站要烧多少 token」，谁便宜先读谁。

新工具 Platinum.ai（6 月 19 日 Show HN）把这件事量化了出来，数字相当刺眼：

flowchart TD
    Q["用户问 AI：附近哪家修水管便宜又靠谱"] --> A["Agent 抓回 10–15 个候选 URL"]
    A --> B{"逐个评估：读你要烧多少 token？"}
    B -->|"有 llms.txt / 结构化 profile"| C["580 tokens · 1.8 秒<br/>价格、营业时间全对 ✅"]
    B -->|"价格藏在图片里<br/>JS 渲染 / 没有 llms.txt"| D["756k tokens · 34 秒 · 约 $2.27<br/>还把价格读错 ❌"]
    C --> E["优先采信，写进推荐答案"]
    D --> F["直接跳过，换更省 token 的对手"]
    E --> G["你的单子被 AI 拿下"]
    F --> H["你被 AI 视而不见，对手吃单"]

看懂了吧？不是你的服务不够好，而是你的网站对 AI 来说「读起来太贵」。 价格写进图片、菜单塞进复杂 JS、没有结构化的营业时间——这些在人类眼里只是「页面有点炫」，在 AI 眼里就是「756k tokens 的税」。一旦隔壁那家把信息摊平在 llms.txt 里，580 tokens 秒读，AI 就会默认推荐隔壁。你输给的不是同行，是 token 经济学。

Platinum.ai 给出的判断更狠：「AI agents have no eyes. Their entire world is structured text. If you don't provide it, you simply don't exist.」——AI 没有眼睛，它的整个世界就是结构化文本，你不主动喂，你就等于不存在。

三、6 月值得盯的 5 个新工具

按 new-tools 的规矩，给你盘 5 个这个月新鲜出炉、且方向不重复的：

工具 性质 一句话定位 价格
Platinum.ai 商业 SaaS 8 项 AI-Readable 扫描 + 帮你生成「官方 AI 网站 profile」 $99 一次性，无月费
Gcontext 开源 把单个 llms.txt 变成「树」，steer agent 在客服/支持任务里导航 免费开源
Global Llms.txt Index 目录站 收录全网已部署 llms.txt 的站点，可查可学 免费
statespace.com 搜索引擎 专门搜「有 llms.txt 的站」，相当于 AI 时代的 Google 免费
voltplan.app/llms 范例 作者直接给「写给 LLM 看而非人看」的 landing page 打样 免费 / 开源思路

重点说说 Platinum.ai，因为它把整套商业逻辑跑通了。它不碰你现有网站的设计，而是在后台生成一个专门的机器可读文件，把你「AI 拿不到的事实」——服务、定价、营业时间、联系方式、政策——翻译成 agent 秒读的格式。卖点很直接：一次扫描告诉你 8 个地方哪里对 AI 不友好，$99 一次性，不要月费、不要插件、不要重构。对比传统 SEO 动辄每月数千刀的外链套餐，这个定价本身就是价格差。

对开发者更友好的是 Gcontext：单文件 llms.txt 解决的是「入口」，但真要做客服 agent，需要的是一个能按话题展开的文档树，Gcontext 就是干这个的——把 llms.txt 组织成层级结构，让 agent 像「查目录」一样在支持任务里找到正确分支。

国内对比：打开任何一个国内 SEO 服务商页面，还在卖「百度关键词上首页」「外链套餐」「快排」。几乎没人卖「让你的产品被 Kimi、豆包、DeepSeek、ChatGPT 推荐」。这就是认知差——海外已经在卷 GEO/LLMO，国内还在卷 2015 年那套。独立开发者、做 to-C 产品出海的人，现在下场几乎是空白赛道。

四、5 分钟实操：给自己网站挂一个 llms.txt

别等 Platinum 收你 $99，技术站完全可以白嫖。veerhost.com/llms-txt-generator 和 geotrackerai 都有浏览器端、免注册的生成器，把网址一丢就出文件。想自己手写，按官方规范也就这么几行：

# 你的产品名

> 一句话价值主张：用中文+英文都写，AI 才好跨语言匹配。

## Docs
- [快速开始](https://你的站/quickstart.md): 30 秒跑起来
- [API 参考](https://你的站/api.md): 全部接口与示例
- [定价](https://你的站/pricing.md): 各档位价格与额度

## Optional
- [常见问题](https://你的站/faq.md)
- [变更日志](https://你的站/changelog.md)

三条铁律（来自 docsalot.dev 的实战总结，HN 上有人专门讨论过）：

  1. llms.txt 不是文档 URL 堆放站（《Llms.txt is not a docs url dump》一文的核心观点）——别把所有链接倒进去，只放 AI 最需要的那几个，越精简 token 越省；
  2. 重点页面同时出 .md 版本——把关键页面的纯 Markdown 放在「同 URL 加 .md」，比如 /pricing.md，这是官方提案的另一半；
  3. 价格、营业时间、政策绝不能进图片或 JS 组件——任何 agent 读不出来的事实，等于不存在。

部署完，去 index.neonia.io 提交收录，再去 statespace.com 搜一下确认 AI 能找到你。整套流程，一杯咖啡的时间。

五、争议：为机器造网，到底值不值

我不是来给你灌鸡血的，这赛道有真问题。Astro 移除 llms.txt 时给的理由很实在——维护成本和「双份内容」的同步地狱：你既要维护给人看的漂亮页面，又要维护给机器看的 Markdown，一旦两边不一致，AI 拿到的就是过时信息，比没有还糟。

HN 那篇 36 赞的热帖标题本身就是一个灵魂拷问：《Is the web for machines the one we wished we had as humans?》——我们是不是正在亲手造一张「为机器优化、人反而难用」的网？支持派认为这是必然演进，搜索引擎当年也经历过从「给人看」到「给爬虫看」的分化；反对派担心这是在制造信息鸿沟，小站点没钱维护机器版本，会被 AI 生态彻底边缘化。

对中国从业者的启示很实在：别 all-in，但别装看不见。技术文档类站点（API、SDK、开发者产品）现在就该上 llms.txt，ROI 最高、维护成本最低；纯展示型官网可以先观望，等 Chrome Lighthouse 的检查项真正影响排名再动。把 llms.txt 当「AI 时代的 alt 标签和 sitemap」理解就对了——它不是颠覆，是补一张一直缺的、写给机器的索引卡。

六、信息差总结

维度 你以为的（国内主流认知） 别人已经知道的（海外 6 月现状）
SEO 的对象 Google / 百度爬虫 LLM agent（ChatGPT/Claude/Perplexity）
标配文件 sitemap.xml + robots.txt 多一个 /llms.txt + 关键页 .md 版本
衡量标准 关键词排名、外链数 读取 token 成本（580 vs 756k）
工具栈 关键词工具、外链平台 Platinum.ai、Gcontext、statespace
信号源 百度站长、Ahrefs Chrome Lighthouse 已加入检查项
定价 月费数百到数千 一次性 $99，甚至完全免费

七、行动指南

  1. 今天就做：打开 veerhost 生成器，给你的技术文档站生成并挂上 llms.txt；
  2. 本周做：把定价页、快速开始页产出 .md 纯文本版，提交到 neonia 索引；
  3. 本月做：跑一遍 Platinum.ai 的 8 项免费扫描，看你的站对 AI 有多不友好；
  4. 持续做：盯 Chrome Lighthouse 的 llms.txt 检查项何时变成「影响评分」，那才是真正的大规模洗牌信号。

给做产品出海和独立开发的人一句忠告：当海外客户开始习惯「先问 AI 再下单」，你的对手不是同行网站，而是 AI 读取你的 token 成本。先动的人，吃下 AI 推荐流量这波红利；后知后觉的，连被跳过的原因都查不到。

参考来源

下一步计划

  1. 等待联网配额 7/18 重置后，可对本文提到的工具做深度测评（tips-tricks 或 use-cases 方向）
  2. 后续 Round 若选 trending，可深挖 HN 那篇 36 赞「为机器造网」辩论帖的正反方论点
  3. 建议把 llms.txt 实操沉淀成一篇 use-cases 实战文（如「给 51学通信 官网加 llms.txt 全过程」）

注意事项

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入

📎 本分类最新文章