概要

各ツールの使い方を学ぶ前に、Ahrefs のデータがどのように取得されているのかを説明します。

Ahrefs がウェブをクロールするときは、他の検索エンジンと同様、クローラーを使用しています。

当社のクローラーはAhrefsBot と呼ばれています. SEO クローラーの中では最もアクティブなクローラー（ クローラーの中では、 Google と Bing に次いで 8 番目にアクティブなクローラー）であり、24 時間ごとに 80 億以上のウェブページを訪問し、15 〜 30 分ごとにインデックスを更新しています。

仕組みは次のとおりです：

1. 初めに、Ahrefsのクローラーが大量の知られた URL のリストを確認します。

2. これらの URL はその後スケジューラーに送信され、これが URL をクロールするタイミングを決定します。

3. URL を分析する準備ができると、AhrefsBot は URL をクローラー に送信し、そのコンテンツをダウンロードします。これは robots.txt ファイルで設定された allow/disallow ルールを厳密に遵守して行われます。

4. クローラーは生データをパーサーに渡します。パーサーはそのページのリンク、タイトル、その他の関連メタデータを抽出します。

5. 抽出されたデータはインデクサー。

6. に送信された後、リンクインデックス に追加されて、Ahrefs の様々なレポートで利用できるようになります。

Ahrefs のクローラーの動作を線形的かつ簡略化して説明するとこのようになります。 新しいページを継続的に発見し、被リンクインデックスのサイズを増やすため、Ahrefs は以下から新しいリンクを見つけ URL リストを更新しています：

• パースされたデータ

• クローラーによって発見されたリダイレクト