如何针对答案引擎优化网站

如果 AI 爬虫无法读取你的页面，本指南中的任何优化建议都将毫无意义。被阻止抓取的页面无法被 AI 引用，而这种情况往往是无意造成的。

我们分析了 约 1.4 亿个网站，发现 GPTBot 目前是被屏蔽最多的 AI 爬虫（5.89% 的网站），ClaudeBot 紧随其后。

Cloudflare 默认会屏蔽 AI 平台，因此请检查你的 CDN 是否在你不知情的情况下，已将你的网站排除在 AI 平台的访问范围之外。

是否“允许 AI 爬虫抓取”并不是一个简单的二选一决定，因为每个平台都有多个执行不同任务的爬虫。

仅 OpenAI 就运行着三个：

• GPTBot 用于收集训练数据所需的内容
• OAI-SearchBot 构建供 ChatGPT 检索的搜索索引
• ChatGPT-User 会在用户对话过程中询问某个页面时，实时获取该页面的内容

两者需要权衡的利弊各不相同。屏蔽 GPTBot 可以防止你的网站内容被纳入下一代模型的训练数据，而这通常正是出版商需要权衡的决定。屏蔽 OAI-SearchBot 则会使你的网站从 ChatGPT 搜索所使用的索引中消失，从而导致你失去被引用的机会和来自 ChatGPT 的引荐流量。许多网站原本只想屏蔽前者，却在无意中连后者也一并屏蔽了。

了解当前情况最快的方法，是使用 AI 爬虫访问检查器 等工具。它会读取你的 robots.txt 文件，并告诉你哪些爬虫被允许访问。

若想了解实际访问网站的爬虫，而不只是获准访问的爬虫，可以查看Ahrefs’ Bot Analytics。它通过 Cloudflare 获取服务器端数据，跟踪 12 类爬虫的访问情况，其中包括专门的 AI 筛选器，因此无需在网站中添加任何 JavaScript 代码即可使用。

AI 爬虫往往会读取原始 HTML，而且大多不会像浏览器那样渲染 JavaScript。

这意味着，任何只在客户端 JS 执行后才出现的内容，它们都可能看不到。

稳妥起见，建议坚持使用服务器端渲染，以最大限度地提高网页在 AI 中获得曝光的机会。

加载缓慢的页面会对你在传统搜索中的表现产生负面影响，在答案引擎中，这种影响似乎更为明显。页面速度似乎会影响你的页面是否能够进入模型的上下文窗口。¹

在 Site Audit 中检查你的页面速度（也称为首字节时间）：

llms.txt 是一项拟议中的标准：在网站根域名下（例如 website.com/llms.txt）放置一个 Markdown 文件，用来告诉 LLM 你网站上最优质的内容在哪里，比如文档、政策页面、产品分类体系等。从原理上说，它相当于面向语言模型的 robots.txt。

但在实践中，还没有任何主流 LLM 提供商承诺会读取它。无论是 OpenAI、Anthropic 还是 Google，都没有。

我们检验了网站添加 llms.txt 后实际会发生什么。在使用 Ahrefs Web Analytics 的 137,000 个域名中，28% 发布了 llms.txt 文件。在约 38,000 个有效 llms.txt 文件中，97% 在我们统计的那个月里收到的请求数为 0 次请求。

在实际被抓取的少数文件中，96% 的请求来自爬虫。负责生成链接预览的 Slackbot 抓取 llms.txt 的频率甚至高于 PerplexityBot。简而言之，主流 AI 搜索引擎似乎并未使用 llms.txt。

Google 对此已明确表态。在其面向生成式 AI 功能进行优化的指南中，有一个叫作“破解误区”的章节，告诉网站所有者：像 llms.txt 这样的机器可读文件并不是出现在生成式 AI 搜索结果中的必要条件。John Mueller 甚至进一步将其比作旧式的关键词元标签：

那到底要不要做？如果你发布开发者文档，成本大约十分钟，而且确实有一个合理的使用场景。Mueller 把它形容为 AI 编程工具解析文档时的“临时拐杖，也许是为了省一些令牌”。但对其他所有人来说，这属于没有可量化回报的投入，还有个小缺点：会让你的内容更容易被竞争对手整段抓取。

AI 助手会编造指向你网站的链接，而且这种情况很常见。我们检查了 ChatGPT、Perplexity、Copilot、Gemini、Claude 和 Mistral 所引用的 1,600 万个 URL 的 HTTP 状态，发现 AI 助手把访客带到 404 页面的概率是 Google 搜索的 2.87 倍。

ChatGPT 的表现最差，远超其他：在其被点击的 URL 中，有 1.01% 返回 404 错误，而 Google 的基准值仅为 0.15%。

Perplexity（0.87%）和 Gemini（0.86%）与 Google 自身引用 URL 的错误率（0.84%）几乎持平。这也很合理，因为两者都会从 Google 索引中检索信息，因此会沿用其中的失效链接，而不是自行生成新的失效链接。

这些虚构的 URL，其实是根据你网站现有的内容和 URL 结构规律推断出来的。我们网站上一个常见的虚构 URL 是 ahrefs.com/keywords，因为我们经常撰写与关键词相关的内容，模型便想当然地认为网站上一定存在这样一个页面。但实际上，这个页面并不存在。

这是 AEO 中少数真正“白捡”的免费机会之一。一个带着明确意图的人问了你的产品相关问题，被引导到你的网站，却走进了死胡同。你会遇到三种不同类型：

• 虚构 URL。模型根据你的 URL 结构凭空编造出来的页面。
• 过时 URL。 曾经存在过的页面，但如今只留存在训练数据或其他过期数据源的记忆里。
• 拼写错误或变体 URL。 真实页面中与目标 URL 高度相似、但存在细微差异的 URL。

因此，我们在Web Analytics中添加了一个筛选器，只需两次点击就能帮你找出虚构的 URL，每月可免费跟踪多达 100 万次事件，如果你正在寻找一款简单的 Google Analytics 替代方案，不妨了解一下：

如果某个虚构的 URL 不断被请求，这其实是在告诉你：用户希望你的网站上有这样一个页面。

本指南中的每一种策略，最终都取决于一件事：AI 系统是否将你的品牌识别为一个独立实体。

Google 的知识图谱拥有 540 亿个实体，以及超过 1.6 万亿条关于这些实体如何相互关联的事实的数据库，如今它已不再只是知识面板背后的驱动引擎。

如今，它已成为 AI Overviews、AI 模式和 Gemini 的核心基础设施。

如果你的品牌没有作为一个实体被清晰建立起来，并且在你的网站、结构化数据以及权威第三方来源中缺乏一致信号，那么你的品牌可能不仅无法出现在传统搜索结果中，甚至还会在 AI 的回答中隐形。

Schema 经常被宣传为快速提升 AI 可见度的捷径，而且表面相关性看起来也很有说服力：被 AI 引用的页面使用 JSON-LD 的可能性几乎是其他页面的 3 倍。

但相关性并不代表因果关系。我们跟踪了 1,885 个添加了 JSON-LD 的页面，并将其与 4,000 个对照页面进行比较，发现在 AI 模式或 ChatGPT 上没有明显的提升，而 AI Overview 中出现了小幅下降，但我们无法将其明确归因于 schema。

那 Schema 就没用了吗？并非如此，只不过它的作用是缓慢而间接的，不是能快速见效的策略。

你可以通过Google 的 知识图谱 API 或免费检测工具，查看 Google 是否已经识别出你的实体、将其归类为哪种实体类型，以及相关属性是否准确。

例如，Carl Hendy 的知识图谱工具 可以展示人物、公司、产品、地点及其他实体的相关结果。

在此基础上，尝试争取权威媒体的品牌提及，并确保各处的信息保持一致：在你的网站、各平台的品牌主页和第三方目录中，使用相同的名称、描述和类别。

然后在合适的地方添加 Schema，优先选择那些能定义你的实体及其关系的类型：

• Organization 和 sameAs Schema：链接到你的维基百科、Wikidata 以及社交媒体主页

• 为网站作者配置 Person Schema

• 为产品/服务配置 Product Schema

最后，我想留给大家一个值得思考的观点：你试图影响的“读者”中，越来越多实际上是 AI 智能体，它们正代表你的目标受众浏览信息并购买产品。

事实上，2026 年 6 月，Cloudflare 首席执行官 Matthew Prince 就曾披露：智能体式（机器人、爬虫和智能体）流量占比在互联网历史上首次超过了 50%。^{2, 3}

“agentic AI”的搜索量在三年内增长了 84 倍，远非个例或新奇现象。与此同时，运行一个 AI 智能体的成本也从几美元降至几美分。

你还不需要为了 AI 智能体而彻底重建网站。但过去那种“只为人类创作内容，不用担心爬虫”的建议，可能已经不如以前那么适用了。

本章探讨的是如何影响人类所信任的 AI，而智能体之间的营销正是这一思路的延伸——只不过走得更远。