如何针对答案引擎优化网站

如果 AI 爬虫无法读取你的页面，本指南中的任何技巧都无关紧要。被屏蔽的页面无法被引用，而这种情况往往是无意造成的。

我们分析了 约 1.4 亿个网站，发现 GPTBot 目前是被屏蔽最多的 AI 机器人（5.89% 的网站），ClaudeBot 紧随其后。

Cloudflare 默认会屏蔽 AI 平台，所以请检查你的 CDN 是否在你不知情的情况下把你排除在外。

“允许 AI 爬虫”并不是一个单一的决策，因为每个平台都会运行多个执行不同任务的机器人。

仅 OpenAI 就运行着三个：

• GPTBot 会收集内容用于训练
• OAI-SearchBot 会构建 ChatGPT 用来检索的搜索索引
• ChatGPT-User 会在对话中有人问到某个页面时实时抓取该页面

两者的取舍点各不相同。屏蔽 GPTBot 会让你的内容不会进入下一代模型的训练数据——这通常是出版商在权衡的决定。屏蔽 OAI-SearchBot 会让你从 ChatGPT 搜索的索引中消失，而这正是当下会让你损失引用和引荐流量的原因。很多网站原本只想做到前者，却不小心把后者也屏蔽了。

最快了解自己处于什么状态的方法，是使用 AI Crawler Access Checker 之类的工具：它会读取你的 robots.txt，并告诉你哪些爬虫被允许访问。

想了解实际出现的是哪些机器人，而不是哪些被允许访问的机器人，请查看 Ahrefs’ Bot Analytics。它通过 Cloudflare 的服务端数据，追踪 12 类机器人（包含专门的 AI 筛选），因此无需在你的网站上添加任何 JavaScript 也能使用。

AI 爬虫往往会读取原始 HTML，而且大多不会像浏览器那样渲染 JavaScript。

这意味着，任何只在客户端 JS 执行后才出现的内容，对它们来说都可能是不可见的。

稳妥起见，坚持使用服务端渲染，让你的页面尽可能获得更高的 AI 可见性。

加载缓慢的页面会对你在传统搜索中的表现产生负面影响；但如果说有什么不同，那就是它在答案引擎中的惩罚似乎更大。页面速度似乎有助于决定你是否能进入模型的上下文窗口。¹

在 Site Audit 中检查你的页面速度（也称为首字节时间）：

llms.txt 是一项拟议中的标准版规范：在你的根域名下放置一个 Markdown 文件（例如 website.com/llms.txt），告诉 LLM 你最优质的内容在哪里：文档、政策、产品分类体系等。原则上，它就像语言模型版的 robots.txt。

但在实践中，还没有任何主流 LLM 提供商承诺会读取它。OpenAI 没有，Anthropic 没有，Google 也没有。

我们检验了网站添加 llms.txt 后实际会发生什么。在使用 Ahrefs Web Analytics 的 137,000 个域名中，28% 发布了 llms.txt 文件。在约 38,000 个有效 llms.txt 文件中，97% 在我们测量的那个月里收到的请求数为 0 次请求。

在那些确实被抓取到的少量文件中，96% 的请求来自机器人。 Slackbot（链接预览机器人）抓取 llms.txt 的频率比 PerplexityBot 还高。简单来说，最重要的 AI 搜索引擎似乎并不会使用它。

Google 在这一点上说得很明确。其 生成式 AI 功能优化 指南中有一节标题就叫“辟谣”，告诉网站所有者：像 llms.txt 这类机器可读文件，并不是出现在生成式 AI 搜索结果中的必要条件。John Mueller 还更进一步，将它比作旧式的 keywords meta 标签：

那你应该做一个吗？如果你发布开发者文档，成本大约只要十分钟，而且确实有一个合理的使用场景。Mueller 将其称为 AI 编码工具解析文档时的“临时拐杖，或许是为了省一些令牌”。对其他人而言，这是一项无法衡量回报的投入；同时还有一个小小的副作用：会让竞争对手更容易把你的内容整段抓取走。

AI 助手经常会为你的网站编造链接。我们检查了 ChatGPT、Perplexity、Copilot、Gemini、Claude 和 Mistral 引用的 1600 万个 URL 的 HTTP 状态，发现 AI 助手将访客带到 404 页面的概率是 Google 搜索的 2.87 倍。

ChatGPT 的问题最严重，远超其他。它被点击的 URL 中有 1.01% 会返回 404，而 Google 的基准值为 0.15%。

Perplexity（0.87%）和 Gemini（0.86%）几乎与 Google 自己的被引用 URL 404 率 0.84% 完全一致。这很合理，因为两者都从 Google 索引中检索内容，所以它们继承的是 Google 的失效链接，而不是自己凭空造出失效链接。

这些虚构的 URL 是根据你现有的模式推断出来的。我们网站上一个常见的“幻觉 URL”是 ahrefs.com/keywords，因为我们经常写关键词相关内容，模型就以为一定存在这样的页面。但实际上并没有。

这是 AEO 中少数真正“白捡”的免费机会之一。一个带着明确意图的人问了你的产品相关问题，被引导到你的网站，却走进了死胡同。你会遇到三种不同类型：

• 幻觉 URL。 模型根据您的 URL 结构虚构出来的页面。
• 过时的 URL。 曾经存在过的页面，可能被训练数据或其他陈旧数据源记住。
• 拼写错误或变体 URL。 与真实页面非常接近的错误。

因此，我们在 网站分析 中新增了一个筛选器，只需两次点击就能帮你找出幻觉 URL。如果你在寻找一个简单的 Google Analytics 替代方案（每月最多 100 万次事件免费），不妨看看：

如果一个幻觉 URL 一直被请求，模型是在告诉你：访客希望你有哪个页面。

本指南中的每一种策略，最终都取决于一件事：AI 系统是否将你的品牌识别为一个独立实体。

Google 的 Knowledge Graph——一个包含 540 亿个实体、以及关于它们之间关系的 1.6 万亿条以上事实的数据库——不再只是 Knowledge Panels 背后的引擎。

它如今已成为 AI Overviews、AI Mode 和 Gemini 的核心基础设施。

如果你的品牌没有作为一个实体被清晰建立起来，并且在你的网站、结构化数据以及权威第三方来源中缺乏一致信号，你就有可能在 AI 答案里“隐形”——不仅仅是在蓝色链接里。

Schema 经常被宣传为快速提升 AI 可见性的捷径，而且表面相关性看起来很有说服力：被 AI 引用的页面使用 JSON-LD 的概率几乎高出三倍。

但相关性不等于因果关系。我们将 添加了 JSON-LD 的 1,885 个页面与 4,000 个对照页面进行追踪比较，发现 AI Mode 或 ChatGPT 并没有显著提升；AI Overview 还有小幅下降，但我们无法将其明确归因于 Schema。

那 Schema 就没用了吗？不是，但它的作用缓慢且间接，不是能快速见效的策略。

你可以使用 Google 的 Knowledge Graph API 或免费检测工具，查看 Google 是否已经识别了你，以及它给你分配了哪种实体类型、相关属性是否正确。

例如，Carl Hendy 的 Knowledge Graph Tool 可以为你展示人物、公司、产品、地点及其他实体的结果。

接下来，尝试从权威出版物中争取提及，并确保你在各处的信息一致：在你的网站、个人资料页和第三方列表中使用相同的名称、描述和类别。

然后在合适的地方添加 Schema，优先选择那些能定义你的实体及其关系的类型：

• Organization 和 sameAs Schema：链接到你的 Wikipedia、Wikidata 以及社交资料

• 为你网站作者添加 Person Schema

• 为你的产品/服务添加 Product Schema

最后留给你一个思考：你试图影响的“读者”中，越来越多其实是代表你的受众进行浏览和购买的 AI 智能体。

事实上，2026 年 6 月，Cloudflare CEO Matthew Prince 披露：在互联网历史上，agentic（机器人/爬虫/智能体）流量首次超过 50%。^{2, 3}

“agentic AI”的搜索量远非边缘案例或新奇现象，三年内增长了 84 倍；与此同时，运行一个智能体的成本也从几美元降到了几美分。

你还不需要为了 AI 智能体而彻底重建网站。但过去那种“只为人类创作内容，不用担心机器人”的建议，可能已经不如以前那么适用了。

本章讲的是影响人类所信任的 AI，而智能体对智能体营销正是如此——只是又更进一步。