Ahrefsのサイト監査ツールを強化する、Web クローラーについて学びましょう。
| バージョン | 6.1 |
|---|---|
| Botタイプ | Good（自らを識別し、公式な呼称を持っている） |
| カテゴリ | SEO |
| robots.txtに従います | はい、デフォルトです（ウェブサイトの所有者は、自分のサイトでrobots.txtに従わないようにリクエストできます） |
| クロール遅延に従います | はい、デフォルトです（ウェブサイトの所有者は、ご自身のサイトでクロール遅延に従わないようにリクエストできます） |
| デスクトップuser-agent文字列 | Mozilla/5.0 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit) |
| これはrobots.txt ファイルを尊重しますか？ | Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit) |
| リバースDNSサフィックス | ahrefs.com |
| IPアドレスの範囲 |
AhrefsSiteAudit は、Ahrefs のサイト監査ツールを強化するウェブクローラーです。Ahrefsユーザーは、サイト監査を使用してWebサイトを分析し、テクニカルSEOとオンページSEOの問題の両方を見つけることができます。
このボットは、禁止されていない限り、あらゆるWebサイトをクロールできますが、デフォルトのクロール頻度を2秒あたり1リクエストに制限することで、Webサイトサーバへの過剰な負荷を防ぎます。 Webサイトの所有者は、自分のサイトをより高速にクロールできるほか、AhrefsSiteAuditクローラーが robots.txtを無視できるようにすることもできます。 これを行うには、サイト監査ツールで所有権を確認する必要があります。
AhrefsSiteAudit botは、私のWebサイトでどのような振る舞いをしますか？
これはrobots.txtファイルを尊重しますか？
AhrefsSiteAuditの挙動を、私のWEBサイト上でコントロールするにはどうすればいいですか？
質問がある場合は、
お問合せしてください。お手伝いします。