AhrefsSiteAudit Crawler

Learn about the web crawler that powers Ahrefs' Site Audit tool.

Version	6.1
Bot type	Good (Identifies itself, has an official moniker)
Kategorie	SEO
Robots.txt befolgen.	Yes by default (website owners can request to disobey robots.txt on their sites)
Obeys crawl delay	Yes by default (website owners can request to disobey crawl delay on their sites)
Desktop user-agent string	Mozilla/5.0 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Mobile user-agent string	Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Reverse-DNS-Suffix	ahrefs.com
IP-Adressbereich	Current list, API documentation

Website status

What is AhrefsSiteAudit crawler?

AhrefsSiteAudit ist ein Web-Crawler, der das Ahrefs Site Audit Tool ermöglicht. Ahrefs-Nutzer können Site Audit nutzen, um Websites zu analysieren und sowohl technische SEO- als auch On-Page-SEO-Probleme zu finden.

Dieser Bot kann jede Website crawlen, auf der kein Disallow gesetzt ist, und verhindert eine übermäßige Belastung der Webserver, indem er standardmäßig das Crawlen auf 1 Anfrage pro 2 Sekunden beschränkt. Wenn du Website-Besitzer bist, kannst du deine eigenen Websites mit höheren Geschwindigkeiten crawlen und dem AhrefsSiteAudit-Crawler erlauben, die robots.txt zu ignorieren. Dazu musst du die Inhaberschaft im Site Audit Tool verifizieren.

Questions? We have answers

What is AhrefsSiteAudit bot doing on my website?
Falls du AhrefsSiteAudit in deinen Server-Logs siehst, bedeutet das, dass jemand deine Website mit dem Ahrefs Site Audit Tool analysiert hat. Dieser Bot crawled eine Website und folgt internen Links von einer URL zur anderen. Er prüft außerdem Ressourcen wie CSS-, JS- und Bilddateien.AhrefsSiteAudit crawler does not add numbers to your Google Analytics traffic.
Does it respect robots.txt file?
Ja, standardmäßigOnly verified owners can allow AhrefsSiteAudit crawler to disobey robots.txt on their site.
How do I control AhrefsSiteAudit crawler on my website?
Since AhrefsSiteAudit bot strictly follows the robots.txt file on your website, you're in full control of what it does.If you want to stop AhrefsSiteAudit from visiting your site, add these two lines to the robots.txt file on your server:
User-Agent: AhrefsSiteAuditDisallow: /
You can also allow or disallow crawling on any part of your website with your robots.txt file. Read more about robots.txt at www.robotstxt.org.AhrefsSiteAudit bot checks your robots.txt file before each new crawl.Wenn deine robots.txt Fehler enthält, kann der AhrefsSiteAudit-Bot deine Befehle nicht erkennen und wird deine Website weiterhin wie zuvor crawlen.Wenn du denkst, dass der AhrefsSiteAudit-Bot sich auf deiner Website unangemessen verhält oder wenn du Fragen hast, kontaktiere bitte [email protected] und wir werden unser Bestes tun, um dir zu helfen.

Du hast andere Fragen?

Falls du weitere Fragen hast,
kontaktiere uns, damit wir dir helfen können.