これにより、Ahrefs は新たな進化を遂げることとなります。SEO ツールとして IndexNow にデータを送信するという点は変わりませんが、今後はそれだけでなく「検索エンジンでありながら、IndexNow からデータを受け取る」世界初のユニークな SEO ツールになるのです。
Ahrefs が IndexNow の使用をおすすめする理由は、検索エンジンのクロールとインデックス作成の高速化だけではありません。これまでなら考えられないスピードでサイトの問題を見つけて警告を受け取れるというメリットもあります。では、以下で詳細を解りやすくお話ししていきましょう。
IndexNow とは? Ahrefs ユーザーにとってのメリットは?
IndexNow とは、ウェブサイトに変更が加えられたときにその内容を検索エンジンに通知するプロトコルです。ページに追加、更新、削除、リダイレクトが発生したときに、IndexNow と連携している検索エンジンはこれまでよりも速くその動きを認識できるようになります。
IndexNow を使用すると、ウェブパブリッシャーはインデックスを作成または更新する URL や URL セットを含む HTTP リクエストを送信できます。スピードの遅い不完全な定期クロールやサイトマップに頼る必要がなくなるのです。
リクエストは連携している検索エンジンの IndexNow エンドポイントの 1 つに直接送信されます。リクエストはそこで処理され、変更がインデックスに反映されます。検索エンジンはそれぞれ、IndexNow の通知を受け取るごとに他の IndexNow 検索エンジンに通知します。
ファブリス氏の言葉にあるように、検索パートナーの 1 つに通知を送信するとすべての情報が他のパートナーと共有されるため、Yep と Ahrefs は常に最新のウェブインデックスを維持することができます。その仕組みは次の図の通りです。
2023 年 10 月時点で、6,000 万以上のウェブサイトが 1 日あたり 14 億の URL を IndexNow に送信していました。これが 2024 年 3 月には、1 日あたり 25 億になりました。これには、Cloudflare、WordPress、Wix、Duda などのウェブサイトも含まれています。まだ IndexNow を使用していない方は、IndexNow のネイティブ実装についてお使いの CMSの状況を確認するか、サポートを追加するプラグインをチェックしてみてはいかがでしょうか。
Botify、OnCrawl、ContentKing、その他複数の SEO ツールも、ウェブサイトをクロールして変更を見つけると IndexNow に通知します。こうしてクライアントのページが検索エンジンでより速くインデックスされ、更新されます。
また、Ahrefs のサイト監査ツール（Site Audit）で確認された変更も IndexNow に通知されます。現在 Ahrefs は、他のクラウドベースのサイト監査ツールよりも多い 1 日あたり約 6 億〜7 億ページをクロールしているため、IndexNow にそれだけ多くの情報を提供していることになります。
Ahrefs が他の SEO ツールと異なるのは、送信されたデータも受け取ることができるという点です。このデータをもとに、Ahrefs は常にユーザーの皆さんにとって興味深く使いやすい機能の開発に取り組んでいます！
Ahrefs は、これまで、サイト監査ツールに常時クロールオプションを構築しようと懸命に作業を進めてきました。狙いは、ユーザーが一般的に週次または月次で予定する「スケジュール」型のクロールから、常時稼働して問題をすばやくユーザーに通知できる「優先型」のクロールシステムに置き換えることです。
IndexNow を使うことで、リアルタイムオプションを追加できるようになります。それは同時にユーザーと Ahrefs 自身のリソースの節約にもつながります。（節約されるリソースについては、後ほどもう少し詳しく説明します）
IndexNow と サイト監査ツールの新しいリアルタイムオプションを使用しているサイトでは、ページを更新した直後、ユーザーに問題を通知できるようになります。プロセスは以下の通りです。
事実上リアルタイムのモニタリングと警告システムという、思いつく限りベストなシステムです。長年の夢が叶ったと言っても過言ではありません。
Ahrefs はすでに他の SEO ツールと比べても随一のリンクデータを保持していますが、IndexNow により変更確認がスピードアップし、データも最新のものに更新されます。また、ページ検査ツールもさらに便利になります。ウェブサイトの変更をより迅速に確認し、変更内容のコピーを常に保持できるようになるのです。
IndexNow でリソースを節約
IndexNow は、ウェブサイトの所有者にとっても、Ahrefs にとっても、そして地球にとっても優れたツールです。ウェブサイトの負荷を軽減し、エネルギーとリソースを節約します。
ボットはウェブトラフィックのかなりの部分を占めており、Cloudflare Radar によると、トラフィック全体の約 30 ％にあたります。トラフィックの多くは悪質なボットによるものですが、検索エンジンクローラーなどの善良なボットは、依然として世界のインターネットトラフィックの約 5 ％を占めています。
Cloudflare は、検証済みの優良ボットのリストを公開しています。リストを見ると、そこの上位ボットの多くは検索エンジンクローラーで、もちろん Ahrefs もその 1 つであることがわかります。
ところで、クローラートラフィックの 53 ％は無駄になっていると推定されています。その原因は、探索的クロールと呼ばれるものです。ボットがページをクロールする主な目的は 2 つあります。1 つは新しいページを発見すること、もう 1 つは既存のページを更新することです。IndexNow の登場以前は、サイトの変更をクローラーに直接伝えるメカニズムはありませんでした。
皆さんもページに変更を加えたのに、検索エンジンや SEO ツールに反映されるまでに時間がかかりすぎると感じたことはありませんか？それは、基本的にボットがページを再クロールするタイミングを計っているためです。現在、その仕組みは次のようになっています。
Cloudflare より
ボストン コンサルティング グループは、全炭素排出量の 2 ％（年間約 10 億トン）の炭素がインターネットの運用によって排出されていると推定しています。全インターネットトラフィックの 5 ％が善良なボットによるもので、そのトラフィックの 53 ％が過剰なクロールによって無駄になっているとすると、過剰なクロールを削減するソリューションを見つけることで、年間 2,600 万トンもの炭素コストを節約できる可能性があります。米国環境保護庁によると、これは 3,100 万エーカーの森林を植林し、6 か所の石炭火力発電所を永久に閉鎖し、550 万台の乗用車を道路から排除するのに匹敵するとのことです。
そんなにとんでもない量のリソースが無駄になっているとは驚きですよね。すべてのサイトで IndexNow を採用すれば、非常に多くのリソースを節約できることになります。まだご利用でない場合は、ぜひ使用を開始してください。今すぐ自社の CMS、CDN、ウェブホストに問い合わせてみてはいかがでしょうか。
IndexNow が機能する仕組みは次のとおりです。
ページは次回の変更が行われるまで再クロールされません。少なくとも、それが最終的な目標です。ただし、すべてが意図したとおりに機能し、変更情報がもれなくが取得されていることを確認するために、探索的再クロールが引き続き実行される可能性があります。
IndexNow はサイトマップの改良バージョン
検索エンジンに変更を通知する API をインデックスすることは実に合理的です。5 年ほど前に地元のオフ会で、サイトマップの後継としてこれを提案したのを覚えています。ウェブサイトページの更新を教えてもらえれば、その時期を推測する必要はありません。
そこで IndexNow がサイトマップよりも優れている点を確認しておきましょう。
- 高速である。検索エンジンは通常、数日から数週間ごとにサイトマップをチェックします。IndexNow の通知は、情報伝達に数秒しかかかりません。
- ライブページ以外もサポートする。サイトマップでは、ステータスコード 200 のライブページのみが対象です。IndexNow では、ステータスコード 404 / 410 またはリダイレクトされたページも通知できます。
- より多くのデータを保護する。ご存知ないかもしれませんが、大手サイトの大半は、競合企業にコンペティティブインテリジェンスを提供することになるため、サイトマップを非表示にしています。SEO が生成 AI を使用して競合他社のサイトマップにあるすべてのページを再作成した SEO 強盗について聞いたことがある方もいらっしゃるでしょう。IndexNow では、コンテンツのロードマップはなく、コピーするものは何もありません。
- サイトマップの <lastmod> は信頼性が低い。これは常に信頼できるとは限らないため、クロール時のヒント程度に留められます。 <lastmod> がない場合もあれば、サイトマップの作成日として、またはページ作成時に設定されることがあります。コンテンツが更新されたとき、これを更新するサイトもあるというだけです。
- 通知範囲が広い。すべてのサイトの robots.txt ファイルにサイトマップがあるわけではありません。また、サイトマップを 1 つの検索エンジンにアップロードすることはあっても、すべての検索エンジンにアップロードしていることは稀です。一方、IndexNow では更新は複数の検索エンジンに送信されます。
まとめ
いかがでしたか？IndexNow がどれだけ便利かがお分かりいただけたことと思います。お使いの CDN、CMS、ウェブホストでまだ採用されていない場合は、導入状況を問い合わせてみることをおすすめします。また、WordPress コアに IndexNow を入れるのに力を貸してくれる人をご存知でしたら、ぜひ紹介してください。（この投稿をお読みいただいている Google 社員の皆さん、どうでしょうか？）
IndexNow によって SEO テストにどのようなポジティブな変化が起こるのかがとても楽しみです。自分が施した変更の影響に対してほぼリアルタイムのフィードバックが得られるなんて、まさに夢のようです。何がうまくいくかをすばやく確認し、改善を重ねることができるのですから。SEO はますます面白くなっていきますね！
今回の記事についてご質問がありましたら、ぜひ X までお寄せください。
