クロールバジェット

「インデックスの新しさ、適切なカバレッジ、ブロックなし。 どの２つを取りますか？」
– Dmytro Gerasymenko、Ahrefs 創設者兼 CEO

大きなインデックスを構築する際には、データの新しさと適切なカバレッジのバランスを取らなければなりません。

新しさとは、情報を最新に保つために定期的なクロールを実行することを意味します。 適切なカバレッジとは、できるだけ多くのページをクロールすることを意味します。 しかし、両方をフル稼働で実行することはできません。そうすると、ウェブマスターやホスティング会社にブロックされてしまいます。

これを解決するには、クロールバジェットを実装することです。クロールバジェットとは、クローラーがクロールできる、またはクロールしたい URL の数のことです。

クロールバジェットは次の 2 つの部分で構成されています： クロールレート とクロールデマンド.

クロールレート

クロールレートは、クローラーがサイトをクロールする際にそのサイトに対して行うことができるリクエストの数を指します。

ウェブサイトを速すぎるペースでクロールすると、サーバーに過度の負荷をかけることがあります。 これはユーザーエクスペリエンスの低下につながったり、クローラーがブロックされたりする可能性があるため、クロールレートは以下を考慮します：

• ページ速度 – 読み込みの遅いページよりも、読み込みの速いページが優先されます。

• ウェブサイトのサイズ – サイズが小さく高品質なリンクを持つウェブサイトの方が、すべてをクロールされる可能性が高く、大きくても低品質なリンクを持つウェブサイトは部分的にしかクロールされないことがあります。

クロールデマンド

クロールデマンド、またはクロール優先度は、ウェブサイトのページをクロール・再クロールすることに関する重要度のレベルを表します。

これは、以下に基づいてクロールデマンドを決定する当社のスケジューラーが行います：

• URL のポピュラリティ （URLレーティング）– あるページへの被リンクの品質が高いほど、優先度が高くなります。

• ウェブサイトのポピュラリティ （ドメインレーティング）– ウェブサイトの被リンクプロファイルの強さが高いほど、優先度が高くなります。