AhrefsBot
Découvrez le robot d'exploration Web qui alimente Ahrefs.
| Version | 7.0 |
|---|---|
| Type de robot | Bon (s'identifie, a un surnom officiel) |
| Catégorie | Commercialisation |
| Obéit à robots.txt | Oui |
| Obéit au délai d'exploration | Oui |
| Chaîne d'agent utilisateur | Mozilla/5.0 (compatible ; AhrefsBot/7.0 ; +http://ahrefs.com/robot/) |
| Suffixe DNS inversé | ahrefs.com |
| Plage d'adresses IP |
Statut du site Web
Qu'est-ce qu'AhrefsBot ?
AhrefsBot est un robot d'exploration Web qui alimente la base de données pour Ahrefs, un ensemble d'outils de données en ligne, et Yep, un moteur de recherche Web à partage de revenus. Il s'agit du deuxième robot d'exploration le plus actif après Google, visitant plus de 8 milliards de pages Web toutes les 24 heures et mettant à jour son index toutes les 15 à 30 minutes.
Notre bot indexe des informations récentes et précises sur les sites Web et leur contenu, ainsi que sur la manière dont ils sont liés les uns aux autres. Ces données sont incroyablement utiles et peuvent être exploitées de plusieurs façons :
Effectuez une recherche avec Yep pour trouver un contenu de qualité supérieure et toutes les informations dont vous avez besoin, tout en prenant en charge un moteur de recherche alternatif qui vise à mettre de l'argent dans les poches de vos créateurs de contenu préférés.
Si vous êtes propriétaire d'un site Web, utilisez Ahrefs pour analyser la structure, le contenu et les backlinks de votre site Web afin de fournir des informations sur ses performances, puis optimisez-le pour améliorer l'expérience utilisateur, vous classer plus haut dans les moteurs de recherche et obtenir plus de trafic.
En ce qui concerne la recherche à l'échelle du Web, Ahrefs vous permet de découvrir comment la popularité d'un site Web ou d'un sujet spécifique a changé au fil du temps, quels sites Web sont liés à quels types de contenu, combien de fois une marque a été mentionnée récemment, etc. sur.
Rank | Bot | Owner | Category |
|---|---|---|---|
1 | GoogleBot | Search Engine Crawler | |
2 | AhrefsBot | Ahrefs | Search Engine Optimization |
3 | Qualys | Qualys | Security |
4 | BingBot | Microsoft | Search Engine Crawler |
5 | Amazonbot | Amazon | AI Search |
6 | Google Image Proxy | Page Preview | |
7 | Google AdsBot | Advertising & Marketing | |
8 | YandexBot | Yandex | Search Engine Crawler |
9 | Google API | Webhooks | |
10 | Synthetic Bot | DataDog | Monitoring & Analytics |
Bots classés par nombre de requêtes. Données fournies en décembre 2024
Des questions? Nous avons des réponses
AhrefsBot respecte-t-il les fichiers robots.txt ?
Oui. Absolument.Nous respectons strictement robots.txt sur les règles d'interdiction et d'autorisation.Comment contrôler AhrefsBot sur mon site Web ?
Étant donné qu'AhrefsBot suit strictement le fichier robots.txt sur votre site Web, vous contrôlez totalement ce qu'il fait.Pour modifier la fréquence à laquelle AhrefsBot visite votre site, il vous suffit de préciser le délai minimum acceptable entre deux requêtes consécutives dans votre fichier robots.txt :Agent utilisateur : AhrefsBotDélai d'exploration : [valeur](Où la valeur Crawl-Delay est le temps en secondes.)Si vous souhaitez empêcher AhrefsBot de visiter votre site, ajoutez ces deux lignes au fichier robots.txt sur votre serveur :Agent utilisateur : AhrefsBotInterdire : /Veuillez noter qu'AhrefsBot peut avoir besoin d'un certain temps pour récupérer les modifications dans votre fichier robots.txt. Ceci est fait avant la prochaine analyse planifiée.De plus, si votre fichier robots.txt contient des erreurs, AhrefsBot ne pourra pas reconnaître vos commandes et il continuera à explorer votre site Web comme il le faisait auparavant.En savoir plus sur robots.txt sur www.robotstxt.org.Si vous pensez qu'AhrefsBot se comporte mal sur votre site Web ou si vous avez des questions, veuillez contacter [email protected] et nous ferons de notre mieux pour vous aider.
Vous avez d'autres questions?
Si vous avez d'autres questions,
Nous contacter afin que nous puissions vous aider.