AhrefsSiteAudit クローラー

Ahrefs のサイト監査ツールを強化する、Web クローラーについて学びましょう。

バージョン	6.1
Bot タイプ	Good（自らを識別し、公式な呼称がある）
カテゴリ	SEO
robots.txt に従う	はい、デフォルトです（ウェブサイトの所有者は、自分のサイトで robots.txt に従わないようにリクエストできます）
クロール遅延に従います	はい、デフォルトです（ウェブサイトの所有者は、ご自身のサイトでクロール遅延に従わないようにリクエストできます）
デスクトップの user-agent ストリング	Mozilla/5.0 (互換性あり; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
これは robots.txt ファイルを尊重しますか？	Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
リバース DNS サフィックス	ahrefs.com or ahrefs.net
IP アドレスの範囲	現在のリスト、 API ドキュメント

Webサイトステータス

AhrefsSiteAudit クローラーとは何ですか？

AhrefsSiteAudit は、 Ahrefs のサイト監査ツールを強化するウェブクローラーです。Ahrefs ユーザーは、サイト監査を使用してウェブサイトを分析し、テクニカル SEO とオンページ SEO の問題を見つけることができます。

このボットは、禁止されていない限り、あらゆるウェブサイトをクロールできますが、デフォルトのクロール頻度を 2 秒あたり 1 リクエストに制限することで、ウェブサイトサーバーへの過剰な負荷を防ぎます。ウェブサイト所有者は、自分のサイトをより高速にクロールできるほか、AhrefsSiteAudit　クローラーが robots.txt を無視できるようにすることもできます。これを行うには、サイト監査ツールで所有権を確認する必要があります。

質問がありますか？私たちがお答えします

Ahrefs サイト監査ボットはウェブサイトで何をしますか？
サーバーログに AhrefsSiteAudit が表示される場合は、誰かが Ahrefs のサイト監査ツールを使用してウェブサイトの分析を行ったことを意味します。このボットはウェブサイトをクロールし、ある URL から別の URL への内部リンクをたどります。また、CSS ファイル、JSファイル、画像などのウェブサイトのリソースも確認します。AhrefsSiteAudit クローラーは、Google Analytics トラフィックに数値を追加しません。
これは robots.txt ファイルを配慮しますか？
デフォルトではそうです。認証された所有者のみが、AhrefsSiteAudit クローラーがサイト上の robots.txt に従わないよう設定できます。
AhrefsSiteAudit の挙動を、私の WEB サイト上でコントロールするにはどうすればいいですか？
AhrefsSiteAudit ボットは、Web サイト上の robots.txt ファイルに厳密に従っているため、その動作を完全に制御できます。AhrefsSiteAudit がサイトにアクセスしないようにするには、サーバー上の robots.txt ファイルに次の2 行を追加してください。
ユーザーエージェント：AhrefsSiteAudit許可しない: /
また、robots.txt ファイルを使って、ウェブサイトの一部のクロールを許可または却下することができます。robots.txt について詳しくは www.robotstxt.org をご覧ください。AhrefsSiteAudit ボットは、新しいクロールの前にrobots.txtファイルをチェックします。robots.txt にエラーが含まれている場合、AhrefsSiteAudit ボットはコマンドを認識できず、以前と同じようにウェブサイトのクロールを継続します。AhrefsSiteAudit ボットがウェブサイト上で不正に動作していると思われる場合、またはご質問がある場合は、 [email protected] までご連絡ください。

他にご質問はありますか？

ご質問がある場合は、
お問い合せまでお問い合わせください。