AhrefsSiteAudit Crawler

Découvrez le robot d’exploration Web qui alimente l’outil d’audit de site d’Ahrefs.

Version	6.1
Type de robot	Good (Identifies itself, has an official moniker)
Catégorie	SEO
Obéit à robots.txt	Yes by default (website owners can request to disobey robots.txt on their sites)
Obéit au délai d’exploration	Yes by default (website owners can request to disobey crawl delay on their sites)
Chaîne d’agent utilisateur de bureau	Mozilla/5.0 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Chaîne d’agent utilisateur mobile	Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Suffixe DNS inversé	ahrefs.com
Plage d’adresses IP	<a1>Liste actuelle</a1>, <a2>Documentation API</a2>

Statut du site Web

Qu’est-ce que le robot d’exploration AhrefsSiteAudit ?

AhrefsSiteAudit est un robot d’exploration Web qui alimente <a>l’outil d’audit de site d’Ahrefs</a> . Les utilisateurs d’Ahrefs peuvent utiliser Site Audit pour analyser les sites Web et trouver à la fois des problèmes de référencement technique et de référencement sur la page.

Ce bot peut explorer n’importe quel site Web, sauf s’il est interdit, et empêche une charge excessive sur les serveurs de sites Web en limitant l’exploration à 1 requête toutes les 2 secondes par défaut. Si vous êtes propriétaire d’un site Web, vous pouvez explorer vos propres sites à des vitesses plus élevées et également autoriser le robot d’exploration AhrefsSiteAudit à ignorer le fichier robots.txt. Pour ce faire, vous devrez vérifier la propriété dans l’outil d’audit de site.

Des questions? Nous avons des réponses

Que fait le bot AhrefsSiteAudit sur mon site Web ?
If you see AhrefsSiteAudit in your server log, this means that someone did an analysis of your website using Ahrefs' Site Audit tool. This bot crawls a website and follows its internal links from one URL to another. It also checks website resources such as CSS files, JS files, and images.Le robot d’exploration AhrefsSiteAudit n’ajoute pas de chiffres à votre trafic Google Analytics.
Respecte-t-il le fichier robots.txt ?
Oui. Par défaut.Seuls les propriétaires vérifiés peuvent autoriser le robot d’exploration AhrefsSiteAudit à désobéir à robots.txt sur leur site.
Comment contrôler le robot d’exploration AhrefsSiteAudit sur mon site ?
Étant donné que le bot AhrefsSiteAudit suit strictement le fichier robots.txt sur votre site Web, vous contrôlez totalement ce qu’il fait.Si vous souhaitez empêcher AhrefsSiteAudit de visiter votre site, ajoutez ces deux lignes au fichier robots.txt sur votre serveur :
Agent utilisateur : AhrefsSiteAuditInterdire : /
Vous pouvez également autoriser ou interdire l’exploration de n’importe quelle partie de votre site Web avec votre fichier robots.txt. En savoir plus sur robots.txt sur www.robotstxt.org.Le bot AhrefsSiteAudit vérifie votre fichier robots.txt avant chaque nouveau crawl.Si votre fichier robots.txt contient des erreurs, le bot AhrefsSiteAudit ne pourra pas reconnaître vos commandes et il continuera à explorer votre site Web comme il le faisait auparavant.Si vous pensez que le bot AhrefsSiteAudit se comporte mal sur votre site Web ou si vous avez des questions, veuillez contacter [email protected] et nous ferons de notre mieux pour vous aider.

Vous avez d’autres questions?

Si vous avez d’autres questions sur nos tarifs et nos forfaits, Nous contacter afin que nous puissions vous aider.