Bot di Ahrefs

Indirizzi IP

Scansioniamo da intervalli IP pubblicati pubblicamente. Puoi estrarre i nostri indirizzi IP come intervalli IP o come IP singoli. Trovi informazioni su come aggiungere i nostri IP alla whitelist nell'articolo del nostro centro assistenza.

DNS inverso

Il suffisso DNS inverso del nome host IP è sempre ahrefs.com o ahrefs.net.

Stato del sito web

Puoi controllare lo stato del tuo sito web così come viene visto dai nostri bot e se può essere scansionato dai bot stessi:

AhrefsBot indicizza dati recenti e accurati sui siti web e sui loro contenuti e su come questi si collegano tra loro. Questi dati sono incredibilmente utili e possono essere utilizzati in molti modi:

• AhrefsBot powers Yep—an independent, privacy-focused search engine. Being included in Yep’s index helps site owners reach a new audience.
• AhrefsBot feeds data into Ahrefs toolset. Website owners can create a free Ahrefs webmaster account and verify domain ownership to unlock site analytics, including access to in-depth backlink data, website performance metrics, and content change monitoring. Ahrefs also offers a suite of free SEO tools that anyone can use without creating an account.
• AhrefsSiteAudit powers our Site Audit tool. Site Audit checks websites for technical and on-page issues such as broken links, slow performance, security misconfigurations, and SEO pitfalls. By crawling and rendering pages, we help identify improvements that can boost visibility, loading speed, and overall user experience. Ahrefs also provides the option to run Site Audit for free on verified websites, helping site owners discover and fix technical issues, all without incurring any charges

Rispetto di robots.txt

Entrambi i bot rispettano rigorosamente robots.txt per quanto riguarda le regole sia di disallow sia di allow, nonché per le direttive di ritardo di scansione. Solo i proprietari dei siti verificati possono consentire al crawler AhrefsSiteAudit di ignorare robots.txt sul loro sito, così da verificare l'eventuale presenza di problemi in sezioni per cui la scansione solitamente non è consentita.

Quando vengono richieste le pagine HTML, viene rigorosamente rispettato il ritardo di scansione, garantendoci di non superare i limiti massimi. Tuttavia, questo non può essere fatto durante il rendering del JavaScript. Quando i nostri bot renderizzano una pagina, potrebbero richiedere più asset (ad es. immagini, script, fogli di stile) contemporaneamente, il che potrebbe comportare richieste più frequenti nei log del server rispetto a quanto consentito dalle impostazioni relative al ritardo di scansione. Questo comportamento imita l'esperienza di un utente reale, poiché le pagine web moderne richiedono spesso il caricamento simultaneo di più risorse per un rendering e una funzionalità corretti.

Memorizzazione delle risorse nella cache

Durante le scansioni, memorizziamo nella cache i file richiesti frequentemente (immagini, CSS, JS) per minimizzare i recuperi ripetuti, riducendo il consumo di banda e il carico del server.

Gestione del carico

Se troviamo codici di stato non-200, in particolare errori 4xx o 5xx, riduciamo automaticamente la velocità di scansione per quel sito. Questo garantisce il minimo stress sui siti che potrebbero essere interessati da guasti o da alti carichi del server.

Pratiche trasparenti

Sappiamo che i fornitori di hosting, le reti CDN e le piattaforme CMS potrebbero voler gestire il modo in cui i bot interagiscono con i siti web dei loro clienti. I nostri indirizzi IP pubblicamente disponibili e le stringhe degli user-agent ti permettono di verificare rapidamente il traffico legittimo proveniente da Ahrefs. Ci impegniamo a essere trasparenti in merito alle nostre attività di scansione per promuovere fiducia e collaborazione. Se hai domande, contattaci all'indirizzo [email protected] e faremo del nostro meglio per aiutarti.