Erfahre mehr über den Web-Crawler, der Ahrefs Site Audit Tool antreibt.
Version | 6,1 |
---|---|
Bot-Typ | Gut (Identifiziert sich selbst, hat einen offiziellen Namen) |
Kategorie | SEO |
Obeys robots.txt | Ja, standardmäßig (Website-Betreiber können beantragen, die robots.txt auf ihren Websites zu ignorieren) |
Befolgt Crawl-Delay | Ja, standardmäßig (Website-Betreiber können beantragen, die Crawling-Verzögerung auf ihren Websites zu ignorieren) |
Desktop-User-Agent-String | Mozilla/5.0 (kompatibel; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit) |
Mobile User-Agent String | Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (kompatibel; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit) |
Reverse-DNS-Suffix | ahrefs.com or ahrefs.net |
IP-Adressbereich |
AhrefsSiteAudit ist ein Web-Crawler, der das Site Audit-Tool von Ahrefs unterstützt. Ahrefs-Nutzer können Site Audit nutzen, um Websites zu analysieren und sowohl technische SEO- als auch On-Page-SEO-Probleme zu finden.
Dieser Bot kann jede Website crawlen, sofern dies nicht untersagt ist, und verhindert eine übermäßige Belastung der Website-Server, indem er das Crawling standardmäßig auf 1 Anfrage pro 2 Sekunden beschränkt. Wenn du eine Website besitzt, kannst du deine eigenen Websites mit höherer Geschwindigkeit crawlen und dem AhrefsSiteAudit-Crawler erlauben, robots.txt zu ignorieren. Dazu musst du im Site Audit Tool die Eigentümerschaft bestätigen.
Was macht der AhrefsSiteAudit-Bot auf meiner Website?
Beachtet es die Datei robots.txt?
Wie kontrolliere ich den AhrefsSiteAudit-Crawler auf meiner Website?
Falls du weitere Fragen hast,
kontaktiere uns, damit wir dir helfen können.