AhrefsSiteAudit Crawler

Découvrez le robot d'exploration Web qui alimente l'outil d'audit de site d'Ahrefs.

Version	6.1
Type de robot	Bon (s'identifie, a un surnom officiel)
Catégorie	CE
Obéit à robots.txt	Oui par défaut (les propriétaires de sites Web peuvent demander à désobéir à robots.txt sur leurs sites)
Obéit au délai d'exploration	Oui par défaut (les propriétaires de sites Web peuvent demander à désobéir au délai d'exploration sur leurs sites)
Chaîne d'agent utilisateur de bureau	Mozilla/5.0 (compatible ; AhrefsSiteAudit/6.1 ; +http://ahrefs.com/robot/site-audit)
Chaîne d'agent utilisateur mobile	Mozilla/5.0 (Linux ; Android 13) AppleWebKit/537.36 (KHTML, comme Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (compatible ; AhrefsSiteAudit/6.1 ; +http://ahrefs.com/robot/site-audit)
Suffixe DNS inversé	ahrefs.com
Plage d'adresses IP	Liste actuelle, Documentation API

Statut du site Web

Qu'est-ce que le robot d'exploration AhrefsSiteAudit ?

AhrefsSiteAudit est un robot d'exploration Web qui alimente l'outil d'audit de site d'Ahrefs . Les utilisateurs d'Ahrefs peuvent utiliser Site Audit pour analyser les sites Web et trouver à la fois des problèmes de référencement technique et de référencement sur la page.

Ce bot peut explorer n'importe quel site Web, sauf s'il est interdit, et empêche une charge excessive sur les serveurs de sites Web en limitant l'exploration à 1 requête toutes les 2 secondes par défaut. Si vous êtes propriétaire d'un site Web, vous pouvez explorer vos propres sites à des vitesses plus élevées et également autoriser le robot d'exploration AhrefsSiteAudit à ignorer le fichier robots.txt. Pour ce faire, vous devrez vérifier la propriété dans l'outil d'audit de site.

Des questions? Nous avons des réponses

Que fait le bot AhrefsSiteAudit sur mon site Web ?
Si vous voyez AhrefsSiteAudit dans le journal de votre serveur, cela signifie que quelqu'un a effectué une analyse de votre site Web à l'aide de l'outil d'audit de site d'Ahrefs. Ce bot explore un site Web et suit ses liens internes d'une URL à une autre. Il vérifie également les ressources du site Web telles que les fichiers CSS, les fichiers JS et les images.Le robot d'exploration AhrefsSiteAudit n'ajoute pas de chiffres à votre trafic Google Analytics.
Respecte-t-il le fichier robots.txt ?
Oui. Par défaut.Seuls les propriétaires vérifiés peuvent autoriser le robot d'exploration AhrefsSiteAudit à désobéir à robots.txt sur leur site.
Comment contrôler le robot d'exploration AhrefsSiteAudit sur mon site ?
Étant donné que le bot AhrefsSiteAudit suit strictement le fichier robots.txt sur votre site Web, vous contrôlez totalement ce qu'il fait.Si vous souhaitez empêcher AhrefsSiteAudit de visiter votre site, ajoutez ces deux lignes au fichier robots.txt sur votre serveur :
Agent utilisateur : AhrefsSiteAuditInterdire : /
Vous pouvez également autoriser ou interdire l'exploration de n'importe quelle partie de votre site Web avec votre fichier robots.txt. En savoir plus sur robots.txt sur www.robotstxt.org.Le bot AhrefsSiteAudit vérifie votre fichier robots.txt avant chaque nouveau crawl.Si votre fichier robots.txt contient des erreurs, le bot AhrefsSiteAudit ne pourra pas reconnaître vos commandes et il continuera à explorer votre site Web comme il le faisait auparavant.Si vous pensez que le bot AhrefsSiteAudit se comporte mal sur votre site Web ou si vous avez des questions, veuillez contacter [email protected] et nous ferons de notre mieux pour vous aider.

Vous avez d'autres questions?

Si vous avez d'autres questions,
Nous contacter afin que nous puissions vous aider.