AhrefsSiteAudit Crawler

Ontdek de webcrawler die Ahrefs aandrijft.

Versie	6.1
Bot-type	Goed (identificeert zichzelf, heeft een officiële naam)
Categorie	SEO
Respecteert robots.txt	Ja, standaard (website-eigenaren kunnen vragen om robots.txt op hun sites te negeren)
Respecteert crawl delay	Ja, standaard (website-eigenaren kunnen vragen om crawl delay op hun sites te negeren)
Desktop user-agent string	Mozilla/5.0 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Mobiele user-agent string	Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Reverse DNS-suffix	ahrefs.com
Bereik IP-adressen	Huidige lijst, API-documentatie

Websitestatus

Wat is AhrefsSiteAudit crawler?

AhrefsSiteAudit is een webcrawler die Ahrefs’ Site Audit-tool aandrijft, een tool die websites analyseert en technische- en on-page SEO-problemen vindt.

Deze bot kan iedere website crawlen, tenzij dat is gedisallowed, en voorkomt overmatige belasting van websiteservers door het crawlen standaard te beperken tot 1 request per 2 seconden. Als je een website-eigenaar bent, kan je je eigen websites sneller crawlen en AhrefsSiteAudit ook toestaan om robots.txt te negeren. Daarvoor moet je eigenaarschap verifiëren in de Site Audit-tool.

Vragen? Wij hebben antwoorden

Wat doet AhrefsSiteAudit-bot op mijn website?
Als je AhrefsSiteAudit in je serverlog ziet, betekent dit dat iemand een analyse van jouw website heeft gedaan met Ahrefs’ Site Audit-tool. Deze bot crawlt een website en volgt de interne links van de ene URL naar de andere. Hij checkt ook websitebronnen als CSS-files, JS-files en afbeeldingen.AhrefsSiteAudit crawler telt niet als verkeer in je Google Analytics.
Respecteert het de robots.txt-file?
Ja. Standaard.Alleen geverifieerde eigenaren kunnen de AhrefsSiteAudit crawler toestaan om robots.txt op hun site te negeren.
Hoe beheer ik AhrefsSiteAudit-crawler op mijn website?
Omdat AhrefsSiteAudit bot de robots.txt-file op je website volledig respecteert, heb jij alle controle over wat deze doet.Als je wilt dat AhrefsSiteAudit jouw site niet meer bezoekt, voeg dan deze twee regels toe aan het robots.txt-bestand op je server:
User-agent: AhrefsSiteAuditDisallow: /
Je kan ook het crawlen van elk willekeurig onderdeel van je website toestaan of afwijzen in je robots.txt-bestand. Lees meer over robots.txt op www.robotstxt.org.AhrefsSiteAudit-bot checkt je robots.txt-file voor elke nieuwe crawl.Als je robots.txt fouten bevat, kan AhrefsSiteAudit jouw commands niet herkennen en zal deze jouw website blijven crawlen zoals daarvoor.Neem contact op met [email protected] als je denkt dat AhrefsBot zich misdraagt op jouw website of wanneer je vragen hebt, dan zullen we je zo goed mogelijk helpen.

Heb je andere vragen?

Als je nog vragen hebt, neem contact met ons op voor hulp.