Robots Ahrefs

Adresses IP

Nous explorons des plages d'adresses IP publiques. Vous pouvez récupérer nos adresses IP sous forme de plages d'adresses IP ou d’adresses IP individuelles. Vous trouverez des informations sur la façon de mettre nos adresses IP sur liste blanche dans l’article d'aide.

DNS inversé

Dans le nom d'hôte de l'adresse IP, le suffixe du DNS inversé est toujours ahrefs.com ou ahrefs.net.

Statut du site Web

Vous pouvez contrôler l'état de votre site Web tel qu'il est vu par nos robots et vérifier s'il peut être exploré par ces derniers :

AhrefsBot indexe des informations récentes et précises sur les sites Web et leur contenu, ainsi que sur la manière dont ils sont liés les uns aux autres. Ces données sont extrêmement utiles et peuvent être exploitées de plusieurs façons :

• AhrefsBot alimente Yep, un moteur de recherche indépendant axé sur la confidentialité. L'inscription des pages à l'index de Yep aide les propriétaires de sites à toucher un nouveau public.
• AhrefsBot alimente la gamme d'outils Ahrefs. Les propriétaires de sites Web peuvent créer un compte administrateur Ahrefs gratuit et vérifier la propriété du domaine pour déverrouiller les analyses de site, notamment l'accès à des données approfondies sur les backlinks, les mesures de performance du site Web et la surveillance des modifications du contenu. Ahrefs propose également une gamme d’outils SEO gratuits qui peuvent être utilisés sans avoir à créer de compte.
• AhrefsSiteAudit alimente notre outil Site Audit. Ce dernier vérifie les sites Web pour détecter les problèmes, à la fois techniques et sur la page, comme les liens brisés, les performances lentes, les erreurs de configuration de la sécurité et les pièges SEO. En explorant et en rendant les pages, nous identifions les améliorations qui peuvent augmenter la visibilité, la vitesse de chargement et l'expérience globale de l'utilisateur. Ahrefs offre également la possibilité d'exécuter gratuitement l'outil Site Audit sur les sites Web vérifiés, permettant ainsi aux propriétaires d'identifier et de corriger les problèmes techniques, sans frais.

Respect du fichier robots.txt

Les deux robots respectent strictement le fichier robots.txt en ce qui concerne les règles d’interdiction et d’autorisation, ainsi que les directives liées au délai d'exploration. Seuls les propriétaires de sites vérifiés peuvent autoriser le robot d'exploration AhrefsSiteAudit à ignorer le fichier robots.txt sur leur site afin de vérifier les problèmes dans les sections du site normalement interdites à l'exploration.

Le délai d'exploration est strictement respecté lors des demandes de pages HTML, ce qui permet de ne pas dépasser les limites de taux spécifiées. Il ne peut toutefois pas être respecté lors du rendu JavaScript. Lorsque nos robots rendent une page, ils peuvent demander plusieurs ressources à la fois (images, scripts, feuilles de style, etc.), ce qui peut augmenter la fréquence des requêtes dans les journaux du serveur, dépassant la limite fixée par le paramètre du délai d'exploration. Ce comportement reproduit l'expérience d'un utilisateur réel, car les pages Web modernes nécessitent souvent le chargement de plusieurs ressources à la fois pour assurer un rendu et un fonctionnement satisfaisants.

Mise en cache des données

Lors des explorations, nous mettons en cache les fichiers fréquemment demandés (images, CSS, JS) pour minimiser les récupérations répétées, réduisant ainsi la consommation de bande passante et la charge du serveur.

Gestion de la charge

Si nous rencontrons des codes d'état autres que le code 200, en particulier des erreurs 4xx ou 5xx, nous réduisons automatiquement notre vitesse d'exploration pour ce site. Cela permet de réduire au minimum la pression exercée sur les sites susceptibles de connaître des pannes ou une charge trop élevée sur le serveur.

Pratiques transparentes

Nous comprenons que les hébergeurs Web, les réseaux de diffusion de contenu et les systèmes de gestion de contenu peuvent vouloir gérer la manière dont les robots interagissent avec les sites de leurs clients. Nos adresses IP et chaînes d'agent utilisateur publiques vous permettent, à vous ou à vos fournisseurs de services, de vérifier rapidement le trafic légitime d'Ahrefs. Nous nous engageons à être transparents sur nos activités d'exploration pour favoriser la confiance et la collaboration. Si vous avez des inquiétudes, contactez [email protected], et nous ferons de notre mieux pour vous aider.