回答エンジン向けにウェブサイトを最適化する方法

AI クローラーがページを読み取れなければ、このガイドで紹介するどんなコツも意味がありません。アクセスがブロックされたページは引用されることがなく、こうした事態は意図せず発生してしまうことも少なくありません。

約 1 億 4,000 万件のウェブサイトを分析したところ、現在最もブロックされている AI ボットは GPTBot（サイトの 5.89% がブロック）で、ClaudeBot がそれに続きました。

Cloudflare はデフォルトで AI プラットフォームをブロックする設定になっているため、利用している CDN で、知らないうちにその設定になっていないか確認しておきましょう。

すべてのボットを一括りにして「AI クローラーを許可するかどうか」決めればいい、というものではありません。というのも、各プラットフォームが異なる役割を担う複数のボットを動かしているからです。

OpenAIだけでも3つ運用しています：

• GPTBot は学習用にコンテンツを収集します
• OAI-SearchBot は、ChatGPT が参照する検索インデックスを構築します
• ChatGPT-User は、会話の途中でユーザーが特定のページについて質問すると、そのページをライブで取得します

それぞれの場合でトレードオフの内容は異なります。GPTBot をブロックすると、自身のコンテンツが次期モデルの学習データにから除外されますが、これはパブリッシャーが通常、検討・判断すべき事項です。一方、OAI-SearchBot をブロックすると、ChatGPT の検索インデックスから除外されることになり、その結果、引用される機会や、そこからの流入（リファラルトラフィック）を失うことになります。実際には、GPTBot のブロックだけを意図していたにもかかわらず、誤って OAI-SearchBot までブロックしてしまっているサイトが数多く存在します。

自社の状況を最速で把握するなら、AI Crawler Access Checker のようなツールが便利です。robots.txt を読み取り、どのクローラーが許可されているかを教えてくれます。

許可されているボットではなく、実際にアクセスしてきているボットを確認するには、Ahrefs の Ahrefs のボット解析をチェックしてください。これは Cloudflare 経由のサーバーサイドデータを利用して 12 種類のボットカテゴリ（AI 専用フィルターを含む）のアクセスを追跡するもので、サイトに JavaScript を追加することなく利用可能です。

AI クローラーは生の HTML を読み取る傾向があり、ブラウザのように JavaScript をレンダリングすることはほとんどありません。

つまり、クライアント側のJSが実行された後にしか表示されないものは、AIクローラーから見えない可能性があります。

AI に見つけてもらえる可能性を最大化するため、確実な選択肢としてサーバーサイドレンダリングを採用することをお勧めします。

ページの読み込みが遅いと、従来の検索におけるパフォーマンスに悪影響を与えますが、回答エンジンの場合は、さらに大きなデメリットとなる可能性があります。ページの読み込み速度は、そのページが AI モデルのコンテキストウィンドウに取り込まれるかどうかを左右する要因の一つとなっているようです。¹

サイト監査でページ速度（Time to First Byte (TTFB) と呼ばれる指標）を確認しましょう：

llms.txt は、ルートドメイン（例：website.com/llms.txt）に Markdown ファイルを設置するための、提案されている標準規格です。このファイルは、ドキュメント、ポリシー、製品分類といった、サイト内の「最も重要なコンテンツ」がどこにあるのかを LLM に伝えます。概念としては、言語モデル向けの「robots.txt」のようなものです。

しかし実際には、主要な LLM プロバイダーのどこも、それを読むとは確約していません。OpenAI も、Anthropic も、Google もです。

サイトに llms.txt を追加すると実際に何が起きるのかを調べました。Ahrefs ウェブアナリティクスを利用している 13 万 7,000 件のドメインのうち、28% が llms.txt ファイルを公開しています。有効なファイルがある約 3 万 8,000 件のうち、調査期間中の 1 ヶ月間に寄せられたリクエスト数を調べた結果、97% のドメインでリクエスト数がゼロでした。

実際に取得されたごく一部のファイルのうち、リクエストの 96% はボットによるものでした。リンクプレビュー用ボットである「Slackbot」は、「PerplexityBot」よりも頻繁に llms.txt を取得していました。端的に言えば、主要な AI 検索エンジンは、このファイルを利用していないようです。

Google はこの点を明確にしています。生成 AI 機能の最適化に関するガイドには、「誤解を解く（mythbusting）」という見出しのセクションがあり、llms.txt のような機械可読ファイルは生成 AI 検索に表示されるために必要ではない、とサイト運営者に伝えています。John Mueller はさらに踏み込み、古い keywords メタタグになぞらえました。

では、作成すべきでしょうか？開発者向けドキュメントを公開している場合、作成にかかる時間は 10 分程度であり、役立つ可能性も十分あります。ミューラー氏はこれを、AI コーディングツールがドキュメントを解析する際に「トークンを節約するための、一時的な『松葉杖』のようなもの」と表現しています。それ以外のケースでは、具体的な成果が得られないにもかかわらず手間だけがかかるうえ、競合他社がコンテンツを丸ごとスクレイピングしやすくなってしまうという、わずかなデメリットさえ生じかねません。

AIアシスタントは、あなたのWebサイトへのリンクを作り上げてしまうことがあり、それは頻繁に起こります。ChatGPT、Perplexity、Copilot、Gemini、Claude、Mistralが引用した1,600万件のURLのHTTPステータスを確認したところ、AIアシスタントが訪問者を404ページに誘導する頻度は、Google検索の2.87倍でした。

ChatGPT では、突出してひどい状況になっています。クリックされた URL のうち 1.01% が 404 エラーを返しており、Google の基準値である 0.15% を大きく上回っています。

Perplexity（0.87%）とGemini（0.86%）の引用 URL における割合は、Google 自身の数値である 0.84% とほぼ同じです。これは理にかなっています。両者とも Google のインデックスから情報を取得しているため、独自のリンク切れを新たに作り出すのではなく、Google が抱えるリンク切れをそのまま引き継いでいるからです。

生成された URL は、既存のパターンから推測されたものです。例えば、Ahrefs ウェブサイトの場合、ahrefs.com/keywords という URL が（実際には存在しないにもかかわらず）生成されることがよくありました。これは、私たちが頻繁にキーワードについて記事を書いているため、モデルが「こういうページが存在するはずだ」と推測したからです。実際には、そのようなページは存在しません。

これは、AEO において数少ない、本当に「無料で得られる成果」の一つです。購入の意思を明確に持ったユーザーがあなたの製品について検索し、サイトに誘導されたのに、そこで行き止まりになってしまうというケースです。具体的には、以下の 3 つのタイプがあります。

• URLのハルシネーション。 URL構造からモデルが作り上げたページ。
• 古い URL。 かつて存在していたページで、学習データやその他の古いデータソースに残っているもの。
• URL の誤字・表記ゆれ。 実在するページに「あと少しで一致」する URL。

そのため、ウェブアナリティクスにフィルター機能を追加しました。これを使えば、わずか 2 回のクリックで、実際には存在しない（ハルシネーションによって生成された）URL を見つけ出すことができます。Google アナリティクスに代わるシンプルなツールをお探しなら、ぜひ試してみてください。月間 100 万イベントまで無料でご利用いただけます。

存在しない URL へのリクエストが繰り返される場合、それは、「訪問者があなたのサイトに存在することを期待しているページ」をモデルが教えてくれているということです。

本ガイドのすべての戦術は、突き詰めればある一点にかかっています。それは、AI システムがあなたのブランドを独立した存在として認識しているかどうか、ということです。

Google のナレッジグラフ（540 億のエンティティと、それらの関係性に関する 1 兆 6,000 億以上のデータを抱えるデータベース）は、もはやナレッジパネルを支えるだけの仕組みではありません。

現在では、AI による概要、AI モード、Gemini の中核となるインフラになっています。

ウェブサイト全体での一貫したシグナル、構造化データ、そして権威ある第三者ソースなどを通じて、ブランドが明確な「実体（エンティティ）」として確立されていない場合、検索結果の青いリンクとして表示されないだけでなく、AI の回答においても言及されないリスクが生じます。

スキーマは、AI 検索における可視性を手早く向上させるための手段としてよく紹介されており、表面的には相関関係があるように見えます。AI が引用するページは、JSON-LD を使用している可能性が約 3 倍高いのです。

しかし、相関関係は因果関係とは異なります。JSON-LD を追加した 1,885 件のページを、比較対象となる 4,000 件のページと比べて調査したところ、AI モードや ChatGPT 経由の流入に目立った改善は見られませんでした。また、「AI による概要」からの流入にはわずかな減少が見られましたが、それがスキーマに起因するものだと断定することはできませんでした。

では、スキーマは役に立たないのでしょうか？そうではありませんが、効果が出るまでに時間がかかる、あるいは効果が間接的で、即効性のある施策とは言えません。

Google の Knowledge Graph API や無料のチェッカーを使えば、Google がすでにあなたのブランドの存在を認識しているか、割り当てられたエンティティの種類は何か、属性が正しいかを確認できます。

たとえば、カール・ヘンディ氏の ナレッジグラフツールでは、人、企業、製品、場所など、さまざまなエンティティに関する結果を確認することができます。

次に、権威ある媒体で言及されることを目指しましょう。また、自社サイトや各種プロフィール、サードパーティの掲載サイトなど、あらゆる場所に一貫した情報（名称、説明文、業種）を掲載していおくことが重要です。

次に、対象となるエンティティとその関係性を定義するスキーマタイプを優先しつつ、自然な形でスキーマを追加します。

• Wikipedia、Wikidata、ソーシャルプロフィールへのリンクを含む Organization と sameAs スキーマ

• サイトの著者に関する Person スキーマ

• 提供サービスに関する Product スキーマ

最後にひとつ考えてみてください。あなたが影響を与えようとしている「読者」の中には、実はオーディエンスの代わりに閲覧し、購入まで行うAI エージェントが増えつつあります。

実際、2026 年 6 月に Cloudflare の CEO である マシュー・プリンス は、エージェント型（ボット／クローラー／エージェント）トラフィックが総トラフィックに占める割合が、インターネット史上初めて 50% を超えたことを明らかにしました。^{2, 3}

「agentic AI（自律型 AI）」の検索数は、決して例外的なケースや目新しいだけの現象ではなく、過去 3 年間で 84 倍に急増しました。それには、AI エージェントの運用コストが数ドルから数セントにまで下がったという背景があります。

AI エージェントのためだけに今すぐサイトを作り直す必要はありません。ただ、「人間のためだけにコンテンツを作って、ロボットは二の次でよい」という以前よく聞かれたアドバイスは、前ほどは通用しなくなってきています。

この章では、人間が信頼する AI にどのように影響を与えられるかについて紹介していきます。エージェント間マーケティングはその一形態ですが、さらに一歩踏み込んだものです。