Bot di Ahrefs

Indirizzi IP

Scansioniamo da intervalli IP pubblicati pubblicamente. Puoi estrarre i nostri indirizzi IP come intervalli IP o come IP singoli. Trovi informazioni su come aggiungere i nostri IP alla whitelist nell'articolo del nostro centro assistenza.

DNS inverso

Il suffisso DNS inverso del nome host IP è sempre ahrefs.com o ahrefs.net.

Stato del sito web

Puoi controllare lo stato del tuo sito web così come viene visto dai nostri bot e se può essere scansionato dai bot stessi:

AhrefsBot indicizza dati recenti e accurati sui siti web e sui loro contenuti e su come questi si collegano tra loro. Questi dati sono incredibilmente utili e possono essere utilizzati in molti modi:

• AhrefsBot alimenta Yep un motore di ricerca indipendente incentrato sulla privacy. Essere inclusi nell'indice di Yep aiuta i proprietari di siti web a raggiungere un nuovo pubblico.
• AhrefsBot invia dati al set di strumenti di Ahrefs. I proprietari di siti web possono creare un account webmaster gratuito ad Ahrefs e verificare la titolarità del dominio per sbloccare le analisi del sito, tra cui l'accesso a dati dettagliati sui backlink, a metriche relative alle prestazioni del sito web e al monitoraggio delle modifiche dei contenuti. Ahrefs offre anche una suite di strumenti SEO gratuiti e utilizzabili da chiunque senza dover creare un account.
• AhrefsSiteAudit alimenta il nostro strumento Site Audit. Site Audit verifica la presenza di problemi relativi alla SEO tecnica e on page sui siti web, ad esempio link non funzionanti, prestazioni lente, configurazioni di sicurezza errate e insidie SEO. Scansionando e renderLink non funzionantiizzando le pagine, consentiamo di identificare migliorie in grado di aumentare la visibilità e la velocità di caricamento e migliorare l'esperienza complessiva degli utenti. Ahrefs offre anche la possibilità di usare gratuitamente Site Audit sui siti web verificati, aiutando i proprietari a scoprire e risolvere problemi tecnici, il tutto senza alcun costo

Rispetto di robots.txt

Entrambi i bot rispettano rigorosamente robots.txt per quanto riguarda le regole sia di disallow sia di allow, nonché per le direttive di ritardo di scansione. Solo i proprietari dei siti verificati possono consentire al crawler AhrefsSiteAudit di ignorare robots.txt sul loro sito, così da verificare l'eventuale presenza di problemi in sezioni per cui la scansione solitamente non è consentita.

Quando vengono richieste le pagine HTML, viene rigorosamente rispettato il ritardo di scansione, garantendoci di non superare i limiti massimi. Tuttavia, questo non può essere fatto durante il rendering del JavaScript. Quando i nostri bot renderizzano una pagina, potrebbero richiedere più asset (ad es. immagini, script, fogli di stile) contemporaneamente, il che potrebbe comportare richieste più frequenti nei log del server rispetto a quanto consentito dalle impostazioni relative al ritardo di scansione. Questo comportamento imita l'esperienza di un utente reale, poiché le pagine web moderne richiedono spesso il caricamento simultaneo di più risorse per un rendering e una funzionalità corretti.

Memorizzazione delle risorse nella cache

Durante le scansioni, memorizziamo nella cache i file richiesti frequentemente (immagini, CSS, JS) per minimizzare i recuperi ripetuti, riducendo il consumo di banda e il carico del server.

Gestione del carico

Se troviamo codici di stato non-200, in particolare errori 4xx o 5xx, riduciamo automaticamente la velocità di scansione per quel sito. Questo garantisce il minimo stress sui siti che potrebbero essere interessati da guasti o da alti carichi del server.

Pratiche trasparenti

Sappiamo che i fornitori di hosting, le reti CDN e le piattaforme CMS potrebbero voler gestire il modo in cui i bot interagiscono con i siti web dei loro clienti. I nostri indirizzi IP pubblicamente disponibili e le stringhe degli user-agent ti permettono di verificare rapidamente il traffico legittimo proveniente da Ahrefs. Ci impegniamo a essere trasparenti in merito alle nostre attività di scansione per promuovere fiducia e collaborazione. Se hai domande, contattaci all'indirizzo [email protected] e faremo del nostro meglio per aiutarti.