Bots Ahrefs
A Ahrefs tem dois rastreadores web primários, AhrefsBot e AhrefsSiteAudit, para apoiar nosso pacote de ferramentas e serviços. Nosso rastreamento visa auxiliar proprietários de sites a otimizar a presença online reduzindo a carga nos servidores e assegurando um rastreamento seguro e transparente.
Our bots
AhrefsBot
- User-agent token in robots.txt:
AhrefsBot Obeys robots.txt: Yes
Obeys crawl delay: Yes
AhrefsAuditoriaDeSite
- User-agent token in robots.txt:
AhrefsSiteAudit Obeys robots.txt: Yes by default (website owners can request to disobey robots.txt on their sites)
Obeys crawl delay: Yes by default (website owners can request to disobey crawl delay on their sites)
Verificado pela Cloudflare
Tanto o AhrefsBot quanto o AhrefsSiteAudit são reconhecidos como "bons" bots verificados pela Cloudflare, uma empresa líder em segurança e desempenho na web.
Parceiro IndexNow
O Yep, um mecanismo de pesquisa desenvolvido pela Ahrefs, é participante oficial do protocolo IndexNow, junto com outras ferramentas similares importantes. Ajudamos proprietários de websites a nos notificar instantaneamente quando o conteúdo é atualizado, garantindo uma indexação mais oportuna e precisa.
Verification and IP lists
Endereços de IP
Rastreamos usando intervalos de IPs publicamente conhecidos. É possível obter nossos endereços IP como intervalos de IP ou IPs individuais. Consulte informações sobre como colocar nossos IPs na lista de permissões no artigo de ajuda.
DNS reverso
O sufixo do DNS reverso do nome do host dos IPs é sempre ahrefs.com ou ahrefs.net.
Status do site
Você pode verificar o status do seu site, como visto pelos nossos bots, e se ele é rastreável:
Benefits for site owners
AhrefsBot indexa informações atualizadas e precisas sobre sites, seu conteúdo e como eles se conectam entre si. Esses dados são muito úteis e podem ser aproveitados de várias maneiras:
- AhrefsBot powers Yep—an independent, privacy-focused search engine. Being included in Yep’s index helps site owners reach a new audience.
- AhrefsBot feeds data into Ahrefs toolset. Website owners can create a free Ahrefs webmaster account and verify domain ownership to unlock site analytics, including access to in-depth backlink data, website performance metrics, and content change monitoring. Ahrefs also offers a suite of free SEO tools that anyone can use without creating an account.
- AhrefsSiteAudit powers our Site Audit tool. Site Audit checks websites for technical and on-page issues such as broken links, slow performance, security misconfigurations, and SEO pitfalls. By crawling and rendering pages, we help identify improvements that can boost visibility, loading speed, and overall user experience. Ahrefs also provides the option to run Site Audit for free on verified websites, helping site owners discover and fix technical issues, all without incurring any charges
Policies and commitments
Obedecer a robots.txt
Ambos os bots respeitam estritamente o robots.txt nas regras disallow e allow, bem como diretrizes crawl-delay. Apenas proprietários de sites verificados podem permitir que o rastreador AhrefsSiteAudit desobedeça ao robots.txt no site para verificar problemas nas seções do site normalmente bloqueadas para rastreamento.
O atraso no rastreamento é estritamente seguido ao solicitar páginas HTML, garantindo que não excedamos os limites de taxa especificados. No entanto, não é possível respeitá-lo durante a renderização de JavaScript. Ao renderizar uma página, nossos bots podem requisitar diversos elementos (como imagens, scripts e folhas de estilo) ao mesmo tempo, o que pode levar a um número maior de solicitações nos logs do servidor do que o permitido pela configuração de atraso de rastreamento. Esse comportamento simula a experiência de um usuário real, já que páginas da web modernas muitas vezes exigem que múltiplos recursos sejam carregados de uma vez para uma renderização e funcionalidade adequadas.
Armazenar ativos em cache
Durante os rastreamentos, armazenamos em cache arquivos solicitados com frequência (imagens, CSS, JS) para minimizar buscas repetidas, o que reduz o consumo de largura de banda e carga do servidor.
Gerenciamento de carga
Se encontrarmos códigos de status diferentes de 200, sobretudo erros 4xx ou 5xx, reduziremos automaticamente nossa velocidade de rastreamento para o site. Isso garante o mínimo de estresse em sites que possam estar passando por interrupções ou alta carga do servidor.
Práticas transparentes
Reconhecemos que provedores de hospedagem, CDNs e plataformas de CMS podem querer gerenciar como os bots interagem com os sites de seus clientes. Nossos endereços IP e strings de user-agent, disponíveis publicamente, permitem que você ou seus provedores de serviço verifiquem rapidamente o tráfego legítimo da Ahrefs. Estamos comprometidos em ser transparentes sobre nossas atividades de rastreamento para promover confiança e colaboração. Se você tiver alguma preocupação, entre em contato por [email protected] e faremos o possível para ajudar.
Controlling bots behavior
Oferecemos opções claras e fáceis de usar para controlar nossos bots:
Via robots.txt
Para alterar a frequência com que o AhrefsBot ou AhrefsSiteAudit visita seu site, basta especificar o atraso mínimo aceitável entre duas solicitações consecutivas no arquivo robots.txt:
(Onde o valor Crawl-Delay é o tempo em segundos.)
Se você quiser impedir AhrefsBot ou AhrefsSiteAudit de visitar seu site ou uma seção dele, use as diretrizes Disallow:
O AhrefsBot não reconhece de imediato as alterações no arquivo robots.txt. Isso só acontecerá no próximo rastreamento programado. Proprietários de sites verificados podem permitir que o rastreador AhrefsSiteAudit ignore as regras do robots.txt para identificar problemas em seções do site que normalmente seriam bloqueadas para rastreamento.
Além disso, se seu robots.txt contiver erros, nossos bots não conseguirão reconhecer seus comandos e continuarão a rastrear seu site da forma como o faziam antes. Leia mais sobre robots.txt em www.robotstxt.org.
Retornar códigos de status diferentes de 200 para reduzir a velocidade de rastreamento
É possível reduzir temporariamente a velocidade de rastreamento do AhrefsBot. Isso pode ser útil em casos de interrupções ou mudanças de infraestrutura, quando a carga no site precisa ser reduzida. A redução temporária da taxa de rastreamento pode ser feita retornando códigos de status HTTP 4xx ou 5xx durante uma interrupção ou janela de manutenção. Nosso bot detectará esses erros e diminuirá automaticamente a velocidade.
Ajustar configurações de velocidade no Site Audit
O bot AhrefsSiteAudit evita carga excessiva nos servidores de sites ao limitar o rastreamento a no máximo 30 URLs por minuto. Se você é proprietário de um website, pode rastrear seus próprios sites em velocidades maiores caso queira receber notificações sobre os problemas do site mais rapidamente. Para fazer isso, você precisará verificar a propriedade na ferramenta Site Audit.
Fale conosco
Se você tiver alguma preocupação sobre a frequência com que rastreamos ou se detectar tráfego suspeito que deseja confirmar, entre em contato por [email protected]. Estamos aqui para ajudar a esclarecer e resolver quaisquer problemas.