AhrefsSiteAudit-Crawler

Erfahre mehr über den Web-Crawler, der Ahrefs Site Audit Tool antreibt.

Version
6,1
Bot-Typ
Gut (Identifiziert sich selbst, hat einen offiziellen Namen)
Kategorie
SEO
Obeys robots.txt
Ja, standardmäßig (Website-Betreiber können beantragen, die robots.txt auf ihren Websites zu ignorieren)
Befolgt Crawl-Delay
Ja, standardmäßig (Website-Betreiber können beantragen, die Crawling-Verzögerung auf ihren Websites zu ignorieren)
Desktop-User-Agent-String
Mozilla/5.0 (kompatibel; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Mobile User-Agent String
Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (kompatibel; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Reverse-DNS-Suffix
ahrefs.com or ahrefs.net
IP-Adressbereich

Website-Status

Prüfe den Status deiner Website und ob sie gecrawlt werden kann

Was ist der AhrefsSiteAudit-Crawler?

AhrefsSiteAudit ist ein Web-Crawler, der das Site Audit-Tool von Ahrefs unterstützt. Ahrefs-Nutzer können Site Audit nutzen, um Websites zu analysieren und sowohl technische SEO- als auch On-Page-SEO-Probleme zu finden.

Dieser Bot kann jede Website crawlen, sofern dies nicht untersagt ist, und verhindert eine übermäßige Belastung der Website-Server, indem er das Crawling standardmäßig auf 1 Anfrage pro 2 Sekunden beschränkt. Wenn du eine Website besitzt, kannst du deine eigenen Websites mit höherer Geschwindigkeit crawlen und dem AhrefsSiteAudit-Crawler erlauben, robots.txt zu ignorieren. Dazu musst du im Site Audit Tool die Eigentümerschaft bestätigen.

Fragen? Wir haben Antworten

  • Was macht der AhrefsSiteAudit-Bot auf meiner Website?

    Falls du AhrefsSiteAudit in deinen Server-Logs siehst, bedeutet das, dass jemand deine Website mit dem Site-Audit-Tool von Ahrefs analysiert hat. Dieser Bot crawlt eine Website und folgt den internen Links von einer URL zur anderen. Er prüft außerdem Ressourcen wie CSS-, JS- und Bilddateien.Der AhrefsSiteAudit-Crawler fügt deinem Traffic von Google Analytics keine Zahlen hinzu.
  • Beachtet es die Datei robots.txt?

    Ja, standardmäßigNur verifizierte Eigentümer können dem AhrefsSiteAudit-Crawler erlauben, robots.txt auf ihrer Website zu ignorieren.
  • Wie kontrolliere ich den AhrefsSiteAudit-Crawler auf meiner Website?

    Da der AhrefsSiteAudit-Bot sich strikt an die robots.txt-Datei auf deiner Website hält, hast du die volle Kontrolle über seine Aktivitäten.Wenn du verhindern willst, dass AhrefsSiteAudit deine Seite besucht, füge diese zwei Zeilen in die robots.txt-Datei auf deinem Server ein:
    User-Agent: AhrefsSiteAuditDisallow: /
    Du kannst das Crawling auf deiner Website auch mit deiner robots.txt-Datei erlauben oder verbieten. Mehr über robots.txt erfährst du unter www.robotstxt.org.Der AhrefsSiteAudit-Bot überprüft Ihre robots.txt-Datei vor jedem neuen Crawlvorgang.Wenn deine robots.txt Fehler enthält, kann der AhrefsSiteAudit-Bot deine Befehle nicht erkennen und wird deine Website weiterhin wie zuvor crawlen.Wenn du denkst, dass der AhrefsSiteAudit-Bot sich auf deiner Website unangemessen verhält oder wenn du Fragen hast, kontaktiere bitte [email protected] und wir werden unser Bestes tun, um dir zu helfen.

Du hast andere Fragen?

Falls du weitere Fragen hast,
kontaktiere uns, damit wir dir helfen können.