回答エンジン向けにウェブサイトを最適化する方法

AI クローラーがページを読めないなら、このガイドのどのヒントも意味がありません。ブロックされたページは引用されませんし、多くの場合それは偶然に起きます。

約1億4,000万のウェブサイトを分析したところ、GPTBot は現在、最もブロックされている AI ボット（サイトの 5.89%）で、ClaudeBot がそれに続きました。

Cloudflare はデフォルトで AI プラットフォームをブロックするため、CDN が知らないうちにオプトアウトしていないか確認しましょう。

「AI クローラーを許可する」は 1 つの判断で済む話ではありません。というのも、各プラットフォームは異なる役割を担う複数のボットを動かしているからです。

OpenAIだけでも3つ運用しています：

• GPTBot は学習用にコンテンツを収集します
• OAI-SearchBot は、ChatGPT が参照する検索インデックスを構築します
• ChatGPT-User は、会話の途中で誰かがページについて質問すると、そのページをライブで取得します

両者にはそれぞれ異なるトレードオフがあります。GPTBot をブロックすると、コンテンツが次のモデルの学習データから除外されます。これは通常、出版社が検討している判断です。一方、OAI-SearchBot をブロックすると、ChatGPT が検索するインデックスから外れるため、現在の引用や参照トラフィックを失う原因になります。実際には、1つ目だけを意図しているのに、誤って2つ目をブロックしているサイトも少なくありません。

自分の状況を最速で把握するなら、AI Crawler Access Checker のようなツールが便利です。robots.txt を読み取り、どのクローラーが許可されているかを教えてくれます。

許可されているボットではなく、実際にやって来ているボットを確認するには、Ahrefs のボット解析をチェックしてください。Cloudflare 経由のサーバーサイドデータを使って、専用の AI フィルターを含む 12 種類のボットカテゴリ全体の訪問を追跡するため、サイトに JavaScript を追加しなくても機能します。

AI クローラーは生の HTML を読む傾向があり、ブラウザのように JavaScript をレンダリングすることはほとんどありません。

つまり、クライアントサイド JS の実行後にしか表示されないものは、それらからは見えない場合があります。

確実性を重視するならサーバーサイドレンダリングに徹して、AI に見つけてもらえる可能性を最大化しましょう。

読み込みの遅いページは従来の検索でのパフォーマンスに悪影響を与えますが、むしろ回答エンジンではさらに大きなペナルティがあるようです。ページ速度は、そもそもモデルのコンテキストウィンドウに入れるかどうかの判断にも影響しているように見えます。¹

サイト監査でページ速度（time-to-first-byte と呼ばれる指標）を確認しましょう：

llms.txt は、ルートドメイン（例：website.com/llms.txt）に置く Markdown ファイルとして提案されているスタンダードで、ドキュメント、ポリシー、製品タクソノミーなど、最良のコンテンツの場所を LLM に伝えるものです。原理的には、言語モデル向けの robots.txt のようなものです。

しかし実際には、主要なLLMプロバイダーのどこも、それを読むと約束していません。OpenAIも、Anthropicも、Googleもです。

サイトに llms.txt を追加すると実際に何が起きるのかを調べました。Ahrefs ウェブアナリティクスを利用している137,000 ドメインのうち、28% が llms.txt ファイルを公開しています。有効なファイルがある約 38,000 のうち、計測した 1 か月間にそれへのリクエストがゼロだったものは 97% でした。

実際に取得されたごく一部のファイルでは、リクエストの 96% はボットからでした。Link プレビュー用ボットである Slackbot は、PerplexityBot よりも頻繁に llms.txt を取得していました。端的に言えば、最も重要な AI 検索エンジンはこれを使っていないようです。

Google はこの点を明確にしています。生成 AI 機能の最適化に関するガイドには、「誤解を解く（mythbusting）」という見出しのセクションがあり、llms.txt のような機械可読ファイルは生成 AI 検索に表示されるために必要ではない、とサイト運営者に伝えています。John Mueller はさらに踏み込み、古い keywords メタタグになぞらえました。

では作るべきでしょうか？ 開発者向けドキュメントを公開しているなら、作業は10分程度で、妥当なユースケースもあります。Mueller は、ドキュメントを解析する AI コーディングツール向けに「トークンを節約するための一時的な松葉杖のようなもの」と表現しました。それ以外の人にとっては、効果が測定できないのに労力がかかるうえ、競合にコンテンツを丸ごとスクレイピングされやすくなるという小さなデメリットもあります。

AIアシスタントは、あなたのWebサイトへのリンクを作り上げてしまうことがあり、それは頻繁に起こります。ChatGPT、Perplexity、Copilot、Gemini、Claude、Mistralが引用した1,600万件のURLのHTTPステータスを確認したところ、AIアシスタントが訪問者を404ページに誘導する頻度は、Google検索の2.87倍でした。

ChatGPTは群を抜いて問題が大きいです。クリックされたURLのうち1.01%が404を返しており、Googleの基準値0.15%を大きく上回ります。

Perplexity（0.87%）と Gemini（0.86%）は、引用される URL における Google 自身の 0.84% という率とほぼ一致しています。どちらも Google のインデックスから取得するため、独自に作り出すのではなく、Google のリンク切れを引き継ぐのは自然なことです。

でっち上げられた URL は、既存のパターンから推測されます。私たちのサイトでよくある幻覚 URL は ahrefs.com/keywords でした。キーワードについて常に書いているため、そのようなページが存在するはずだとモデルが想定したのです。しかし、実際には存在しません。

これは AEO における、数少ない本当に「無料で得られる成果」の 1 つです。明確な意図を持つ人があなたの製品について質問し、サイトに誘導されたのに、そこで行き止まりになってしまっているのです。遭遇するタイプは 3 つあります：

• URLのハルシネーション。 URL構造からモデルが作り上げたページ。
• 古いURL。 かつて存在していたページで、学習データやその他の古いデータソースに残っているもの。
• URLの誤字・表記ゆれ。 実在するページに「あと少しで一致」するURL。

そのため、ウェブアナリティクスに、わずか2クリックで幻覚 URL を見つけられるフィルターを追加しました。月間100万イベントまで無料で使える、Google アナリティクスのシンプルな代替を探しているなら、ぜひチェックしてみてください：

ハルシネーションのURLが繰り返しリクエストされるなら、モデルは「訪問者が欲しいと期待しているページ」を教えてくれています。

このガイドのあらゆる戦術は、突き詰めれば 1 つのことにかかっています。それは、AI システムがあなたのブランドを明確に区別できるエンティティとして認識しているかどうかです。

Google のナレッジグラフ（540億のエンティティと、それらの関係性に関する 1.6兆以上の事実を収録したデータベース）は、もはやナレッジパネルを支えるエンジンにとどまりません。

現在では、AIによる概要、AI Mode、Gemini の中核インフラになっています。

ブランドが、サイト全体、構造化データ、権威ある第三者ソースにわたる一貫したシグナルによって「エンティティ」として明確に確立されていない場合、青いリンクだけでなく、AI の回答でも表示されないリスクがあります。

スキーマは、AI 可視性を手早く伸ばす手段として語られがちです。表面的な相関も説得力があります。AI に引用されるページは、JSON-LD を持っている可能性がほぼ 3 倍高いのです。

ただし、相関は因果ではありません。JSON-LD を追加した 1,885 ページを 4,000 の対照群と比較して追跡したところ、AI Mode や ChatGPT で有意な改善は見られず、AIによる概要では小さな低下がありましたが、その原因をスキーマだと特定できませんでした。

では、スキーマは無意味なのでしょうか？ いいえ。ただし、その効果は遅く間接的で、すぐに成果が出る施策ではありません。

Google の Knowledge Graph API や無料のチェッカーを使えば、Google がすでにあなたを認識しているか、割り当てられたエンティティの種類は何か、属性が正しいかを確認できます。

たとえば、Carl Hendy’s Knowledge Graph Toolでは、人、企業、製品、場所など、さまざまなエンティティの結果を確認できます。

そこから、権威ある媒体からの言及獲得を狙い、どこでも事実情報の一貫性を保ちましょう。サイト、プロフィール、サードパーティのリスティングのすべてで、名称・説明・カテゴリを同じにします。

次に、自然な箇所にスキーマを追加します。自社のエンティティとその関係性を定義するタイプを優先しましょう：

• Wikipedia、Wikidata、ソーシャルプロフィールへ Link する Organization と sameAs スキーマ

• サイトの著者向けのPersonスキーマ

• 提供サービス向けのProductスキーマ

最後にひとつ考えてみてください。あなたが影響を与えようとしている「読者」の中には、実はオーディエンスの代わりに閲覧し、購入まで行うAI エージェントが増えつつあります。

実際、2026 年 6 月に Cloudflare の CEO である Matthew Prince は、エージェント型（ボット／クローラー／エージェント）トラフィックが、インターネット史上初めて 50% を超えたことを明らかにしました。^{2, 3}

「agentic AI」の検索は、エージェントを動かすコストが数ドルから数セントへと下がったことを背景に、この3年間で84倍に跳ね上がりました。これはニッチな例や目新しさなどではありません。

AI エージェントのためだけに今すぐサイトを作り直す必要はありません。ただ、「人間のためだけにコンテンツを作って、ロボットのことは気にしなくてよい」という昔ながらの助言は、以前ほどは通用しなくなってきています。

この章は、人間が信頼するAIに影響を与えることについてです。エージェント同士のマーケティングはその一形態ですが、さらに一歩踏み込んだものです。