Crawler AhrefsSiteAudit

Scopri il web crawler che alimenta lo strumento Site Audit di Ahrefs.

Versione
6.1
Tipo di bot
Buono (Si identifica, ha uno pseudonimo)
Categoria
SEO
Obbedisce al robots.txt
Sì per impostazione predefinita (i proprietari di siti web possono richiedere di disobbedire a robots.txt sui loro siti)
Rispetta il ritardo di scansione
Sì per impostazione predefinita (i proprietari di siti web possono richiedere di non rispettare il ritardo della scansione sui loro siti)
Stringa dello user-agent desktop
Mozilla/5.0 (compatibile; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Stringa dello user-agent mobile
Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Suffisso DNS inverso
ahrefs.com or ahrefs.net
Intervallo di indirizzi IP

Stato del sito web

Controlla lo stato del tuo sito web e se può essere scansionato

Cos'è il crawler AhrefsSiteAudit?

AhrefsSiteAudit è un crawler web che alimenta lo strumento Site Audit di Ahrefs. Gli utenti di Ahrefs possono utilizzare Site Audit per analizzare i siti web e trovare problemi relativi sia alla SEO tecnica sia alla SEO on page.

Questo bot può scansionare qualsiasi sito web a meno che non sia vietato ed evita di caricare eccessivamente i server del sito web limitando la scansione a 1 richiesta ogni 2 secondi per impostazione predefinita. Se sei il proprietario di un sito web, puoi eseguire la scansione dei tuoi siti a velocità più elevate e consentire al crawler AhrefsSiteAudit di ignorare robots.txt. Per farlo, dovrai verificare la proprietà con lo strumento Site Audit.

Domande? Noi abbiamo le risposte

  • Cosa sta facendo il bot AhrefsSiteAudit sul mio sito web?

    Se vedi AhrefsSiteAudit nei log del tuo server, significa che qualcuno ha effettuato un'analisi del tuo sito web utilizzando lo strumento Site Audit di Ahrefs. Questo bot scansiona un sito web e ne segue i link interni da un URL all'altro. Controlla anche le risorse del sito web come file CSS, file JS e immagini.Il crawler AhrefsSiteAudit non viene contabilizzato nel tuo traffico di Google Analytics.
  • Rispetta il file robots.txt?

    Sì. Per impostazione predefinita.Solo i proprietari verificati possono permettere al crawler AhrefsSiteAudit di ignorare il file robots.txt sul loro sito.
  • Come faccio a controllare il crawler AhrefsSiteAudit sul mio sito web?

    Poiché il bot AhrefsSiteAudit segue rigorosamente il file robots.txt sul tuo sito web, hai il pieno controllo su ciò che fa.Se desideri impedire ad AhrefsSiteAudit di visitare il tuo sito, aggiungi queste due righe nel file robots.txt sul tuo server:
    User-agent: AhrefsSiteAuditDisallow: /
    Puoi anche consentire o vietare la scansione di qualsiasi parte del tuo sito web con il tuo file robots.txt. Leggi di più sui robots.txt su www.robotstxt.org.AhrefsSiteAudit bot controlla il tuo file robots.txt prima di ogni nuova scansione.Se il tuo robots.txt contiene errori, il bot AhrefsSiteAudit non sarà in grado di riconoscere i tuoi comandi e continuerà a scansionare il tuo sito web come faceva prima.Se pensi che il bot AhrefsSiteAudit si stia comportando in modo scorretto sul tuo sito web o se hai domande, scrivici a [email protected] e faremo del nostro meglio per aiutarti.

Hai altre domande?

Se hai altre domande,
contattaci così possiamo aiutarti.