13.7 万のサイト分析：llms.txt ファイルの 97% は読まれていない

llms.txt については様々な議論が交わされていますが、実際のエビデンスとなると、単一サイトのログや小規模な実験しか存在しません。

Ahrefs チームは Ahrefs ウェブアナリティクスとボットアナリティクスを使い、13.7 万のドメインのサーバーログとライブトラフィック、そしてそれらにアクセスするすべてのユーザーエージェントを分析しました。

以下がその調査結果です。

2026 年 5 月下旬、Google は 1 週間足らずの間に llms.txt をめぐる議論の両サイドに立ちました。

Google が新たに公開した生成 AI 機能向け最適化ガイドでは、「mythbusting」というセクションの中で、生成 AI 検索に表示されるために llms.txt のような機械可読ファイルは不要だとサイトオーナーに伝えています。

その数日後、Chrome チームは Lighthouse の実験的な Agentic Browsing 監査に llms.txt チェック機能を追加しました。そのドキュメントには、llms.txt ファイルがないとエージェントがサイト構造を理解するためにより多くの時間をクロールに費やす可能性があると説明されています。

リリー・レイさんが Google のジョン・ミューラーさんにこの矛盾を問いただしたところ、ミューラーさんは llms.txt は「検索のためのものではない」と説明しました。開発者向けドキュメントを解析する AI コーディングツールのための「一時的な補助手段であり、トークンを節約するためのもの」であって、開発者以外のサイトが心配する必要はないとのことです。

また、サーバーログを確認すれば AI エージェントのトラフィックはほとんど見つからないだろうとも述べています。

Ahrefs チームは、この主張を検証することにしました。

本調査では、2026 年 5 月にトラフィックのあった Ahrefs ウェブアナリティクス上の全 137,210 ドメインを対象としました。

各ドメインのルートで HTTP 200 を返す llms.txt の有無を確認し、Ahrefs ボットアナリティクスを使って全ドメインの /llms.txt パスへのリクエストを、HTTP レスポンス（200 と 404）で分類し、チャネルおよび個別のユーザーエージェントごとに検証しました。

ソフト 404 やファントムファイルを除外するため、各ファイルが HTML ではなく実際の Markdown であることを確認し、タイトルやコンテンツに「404」や「Page not found」などのエラーシグナルがないかスクリーニングも行いました。

以下の点に留意してください。

Google 検索のガイダンスでは「不要」とされ、Chrome チームは監査項目に追加し、ミューラーさんは「コーディングツール向けの一時的な措置」と説明しています。

このように相反するメッセージが飛び交う中、llms.txt は実際にどの程度普及しているのでしょうか。今回の調査対象である 13.7 万のドメインのうち、28% がこのファイルを公開していることがわかりました。

調査対象の 4 分の 1 以上にあたる 38,000 ドメインが llms.txt を採用しています。主要な AI プラットフォームがこのファイルを読み込むと公式に表明したことは一度もないにもかかわらずです。

採用を後押ししたのは、AI プラットフォームがこのファイルを利用し始めるかもしれないという推測であり、実際に利用しているという確認ではありません。

調査対象の llms.txt ファイルのほぼすべてが読まれていません。

有効なファイルを持つ約 38,000 ドメインのうち、97% は 5 月中にリクエストが一切ありませんでした。

残りの 3%（1,100 ドメイン）が、測定された llms.txt トラフィックのすべてを受け取っていました。

このデータから、ジョン・ミューラーさんの主張は正しいと言えます。このファイルによる AI トラフィックがほとんどないだけでなく、トラフィック自体がほとんどありません。

現時点で llms.txt ファイルを公開しても、圧倒的に高い確率で何もフェッチされないという結果になります。

ただし、読まれている 3% のファイルには興味深い訪問者がアクセスしています。

以降の調査ではこの 3% に焦点を当てます。

llms.txt ファイルは機械向けに書かれたものであり、実際にそれを読んでいるのもほぼ機械だけです。

トラフィックのあったファイル全体で、リクエストの 96% はボットからのものでした。

人間は 4% で、その中にはチャットアプリで llms.txt のリンクを共有する SEO 担当者も含まれており、リンク展開ボットが忠実にフェッチしているケースもあります。

Slackbot は、PerplexityBot よりも高い頻度で llms.txt ファイルをフェッチしていました。

Perplexity は llms.txt の恩恵を受けるはずの AI 検索エンジンの一つです。チャットアプリのリンクプレビューボットのほうがフェッチ数で上回っているという事実は、これらのファイルに対する AI 検索側の実際の関心がどの程度かを如実に物語っています。

多くのサイトが llms.txt を公開する理由は、ChatGPT の回答に表示されたり、Perplexity の引用を獲得したり、AI による概要（AI Overview） に採用されたりする可能性が高まると考えるからです。

しかし、データが示すのは別の実態です。llms.txt をフェッチしているボットの 77% は AI ツールではありません。

llms.txt をリクエストしているボットを把握するため、すべてのユーザーエージェントを 12 のカテゴリに分類しました。

※ SEO 監査ツールには Ahrefs のクローラー（SiteAuditBot、Ahrefs Bot、Ahrefs Site Audit）が含まれ、合計 2,334 リクエスト（全体の 10.6%）を占めています。これを除くと、サードパーティの SEO 監査ツールは 2,442 リクエスト（11.1%）です。ボットカテゴリの合計は全リクエストの 96% で、残りの 4%（930 リクエスト）は人間からのアクセスでした。

個別に見ると、AI ボットのカテゴリは上位 4 つに入っていません。

SEO 監査ツール（21.7%）、その他・不明（14.9%）、一般的なウェブクローラー（13.1%）、テクノロジープロファイリングツール（11.6%）のいずれもが、どの AI ボットカテゴリよりも多くのリクエストを送信しています。

独立した AI カテゴリで最大の「AI エージェント」は、5 位の 10.5% です。

しかし、4 つの AI カテゴリ（学習用クローラー、検索取得ボット、アシスタント、エージェント）を合算すると、AI ボットは 19.5% で最大の単一バケットとなります。

ボットトラフィックは 3 つの構図に分かれます。

以下で、いくつかの項目を掘り下げます。

llms.txt ファイルに実際に到達するリクエストのうち、既知の AI ボットが占める割合は 19.5% です。

AI ボットが llms.txt の最大の識別可能な読者層であることは確かですが、AI ボットの「種類別」内訳を見ると、多くの人が想定しているような AI ツールにこのファイルが活用されているわけではないことがわかります。

Ahrefs チームでは、AI ボットを以下の 4 つに分類しています。

各カテゴリの割合は以下のとおりです。

*statespace-indexer：オペレーターは Statespace （エージェントインフラ）と特定されていますが、IP レンジは未確認です。

AI エージェントとそのインフラは、llms.txt リクエストの 10.5% を占めており、他のどの AI ボットカテゴリよりも多くのリクエストを送信しています。

この結果は、業界の多くの関係者がすでに抱いていた直感と一致するものです。

前述のとおり、ジョン・ミュラーさんは llms.txt が AI コーディングエージェントの参考資料として最も効果を発揮すると述べています。

Nectiv の創設者であるクリス・ロングさんも、llms.txt が Google 検索に直接役立たないとしても、顧客が「Claude Code を使って推薦情報を探している」場合にはこのファイルに有用性があると述べています。

Ahrefs のボットアナリティクスデータは、両者の見解を裏付けています。

llms.txt ファイルは、可視性に関与していると思われる検索エンジンや AI ボットによる取得がはるかに少なく、構造化された情報を求めるエージェントツールやユーザーに代わって行動するエージェントツールによる取得がはるかに多い傾向にあります。

*statespace-indexer：オペレーターは Statespace （エージェントインフラ）と特定されていますが、IP レンジは未確認です。

statespace-indexer と GPTBot を除くと、Claude-Code （Anthropic のコーディングエージェント）が、すべての AI 検索取得ボット、すべての AI アシスタント、すべての AI トレーニングクローラーよりも多くの取得を行っていました。

llms.txt ファイルは、AI 検索の検索取得よりも、トレーニング用コーパスに多くのデータを提供しています。

実際、AI トレーニングクローラーによる llms.txt の取得は、AI 検索取得ボットの約 5 倍にのぼります。

したがって、llms.txt がブランドの AI における可視性に何らかの影響を与えるとすれば、それは検索取得の時点ではなく、上流のトレーニング段階においてです。

全トレーニングクローラーの中で、GPTBot が llms.txt の取得数で圧倒的なトップに立っています。

このリストに Gemini のクローラーは含まれていません。そもそも存在しないからです。

Google は Gemini のトレーニングとグラウンディングに、通常の Googlebot が取得したコンテンツを使用しています。パブリッシャーがオプトアウトに使用する Google-Extended は、独自のユーザーエージェントを持つクローラーではなく、robots.txt のトークンにすぎません。

Googlebot は 5 月に llms.txt ファイルを約 900 回取得しましたが、Googlebot はサイト上で発見した URL を通常の検索インデックス作成の一環として定期的に取得するため、これは llms.txt への特別な関心を示すものではありません。サイトマップや他のページをクロールするのと同じ振る舞いです。

そのコンテンツが最終的に Gemini に供給されているかどうかは、このデータからは判断できません。

調査データによると、AI 検索取得ボットが AI ボットリクエストに占める割合はわずか 1.1% です。

AI アシスタントおよび AI トレーニングクローラーと合算しても、これらのボットのリクエスト合計は 8.9% にとどまり、AI エージェント単独（10.5%）より 1.6% 少ない結果となりました。

OAI-SearchBot、PerplexityBot、Claude の検索クローラーを合わせても、数千のサイトに対して数百件程度の取得しか行っていませんでした。

AI 引用数を増やす目的で llms.txt を作成しようと考えている場合は、再考が必要かもしれません。

llms.txt の標準規格を監査、スコアリング、検証、研究するためのエコシステムがすでに形成されています。しかし、主要な AI プラットフォームが実際にこのファイルを読んでいるかどうかすら確立されていない段階でのことです。

以下の 3 つのカテゴリが、全リクエストの 12% を占めています。

商用ツールがウェブサイトをスキャンし、AI 検索やエージェントによる発見への対応度をスコアリングしています。llms.txt の有無は、多くのシグナルの 1 つとして使われています。

最もアクティブだったのは CairrotReadinessBot で、これは 2025 年後半にローンチされた WordPress 向け AEO プラットフォーム Cairrot のボットです。

次いで、Framer、Lovable、Wix といった主要なウェブサイトビルダーが、自社製品に AI 対応チェックを組み込んでいます。

llms.txt の導入は、ウェブマスターが判断を下す前に、プラットフォームのデフォルト機能として組み込まれるようになっています。

ほとんど誰も読まない llms.txt ファイルをカタログ化するツールのエコシステムが存在しています。

llms.txt ファイル専用のスキャナー、バリデーター、ディレクトリが、AI 検索取得ボットや AI アシスタントよりも多くのリクエストを送信しています。

データセット内で最大のリサーチクローラーは、自身を prompt-injection-survey/1.0 と名乗っています。

誰かが llms.txt を、AI エージェントが取り込んで信頼するよう設計されたプロンプトインジェクションの機会として、体系的に調査しているのです。

エージェントが llms.txt ファイルを大規模に信頼することのセキュリティ上の影響はほとんど議論されていませんが、潜在的な悪意ある攻撃者はすでに調査を進めています。

AI ツールは、存在しない llms.txt ファイルを探しに行くことは一切ありません。そのため、llms.txt を公開しても AI のレーダーに捕捉されるわけではないのです。

/llms.txt パスへのリクエストのうち 404 を返したものをすべて分析したところ、ボットデータの中で最も明確な二極化が確認されました。有効なファイルへのトラフィックの 96% がボットである一方、存在しないファイルへのトラフィックの 98% は人間からのもので、404 に対する AI ボットのシェアはゼロでした。

存在しない llms.txt ファイルを探しているのは、ブラウザに URL を直接入力している人間であり、おそらく競合サイトをチェックしている SEO 担当者です。

この結果は、AI システムが llms.txt ファイルを能動的に探しており、ファイルを設置していないサイトはチャンスを逃しているという仮説を否定するものです。

AI ツールが llms.txt を取得するのは、リンク、インデックス、またはユーザーの指示によってファイルの存在が知らされた場合に限られます。

ChatGPT、Perplexity、AI Overview に表示されることが目的であれば、llms.txt ファイルはほぼ飾りにすぎません。

AI 検索ボットが llms.txt を取得することはほとんどなく、どの AI システムも自発的にこのファイルを探しに行くことはありません。そして既存の llms.txt ファイルの 97% は、いかなる種類の読み手も引きつけていません。

さらに、リクエスト数はあくまで寛大な指標であることを忘れてはなりません。ボットが取得した内容を実際に活用しているかどうかは、また別の問題です。

以下に、メリットとデメリットを並べて整理します。

結論としては、現時点ではデメリットがメリットを上回ります。AI 検索に表示されることが目標なら、このファイルよりも確実に可視性を高める方法が他にあります。AI 検索に関する情報も参考にしてください。

それでも llms.txt の作成を検討しているのであれば、以下のステップを踏むことをお勧めします。

本調査は、どれだけのサイトが llms.txt を公開しているか、そして誰がそれを読んでいるかという問いに答えるものです。

ただし、本調査の範囲を超えるものの、さらなる調査に値する問いがいくつかあります。

ミューラーさんは llms.txt を一時的な「松葉杖」と呼びました。

しかし、その松葉杖にはすでに独自のサプライチェーンが形成されているようです。llms.txt ファイルを自動生成するプラットフォーム、それを監査する業界、そしてそれを研究するセキュリティ研究者。「読み手」が実際に現れる前から、こうしたエコシステムが構築されています。

本物の標準規格の初期段階を目にしているのか、それとも SEO 業界があらゆるものを製品化できることを証明しているのか。おそらく、その両方でしょう。

Ahrefs をもっと活用 👉
▶︎ Ahrefs 公式ブログ --- 本社発信の記事
▶︎ Ahrefs Canny --- 開発チームへ意見を送る
▶︎ X 公式アカウント--- 最新情報をリアルタイムで
▶︎ YouTube 公式チャンネル--- 動画コンテンツをチェック
▶︎ Ahrefs note --- 日本チーム発信の記事