Bots Ahrefs
A Ahrefs tem dois rastreadores web primários, AhrefsBot e AhrefsSiteAudit, para apoiar nosso pacote de ferramentas e serviços. Nosso rastreamento visa auxiliar proprietários de sites a otimizar a presença online reduzindo a carga nos servidores e assegurando um rastreamento seguro e transparente.
Nossos bots
AhrefsBot
- Token de usuário-agente no robots.txt:
AhrefsBot Obedece ao robots.txt: Sim
Obedece o atraso de rastreamento: Sim
AhrefsAuditoriaDeSite
- Token de usuário-agente no robots.txt:
AhrefsSiteAudit Obedece ao robots.txt: Sim, por padrão (os proprietários de sites podem solicitar a desobediência ao robots.txt em seus sites)
Obedece o atraso de rastreamento: Sim, por padrão (os proprietários de sites podem solicitar a desobediência ao atraso de rastreamento em seus sites)
Verificado pela Cloudflare
Tanto o AhrefsBot quanto o AhrefsSiteAudit são reconhecidos como "bons" bots verificados pela Cloudflare, uma empresa líder em segurança e desempenho na web.
Parceiro IndexNow
O Yep, um mecanismo de pesquisa desenvolvido pela Ahrefs, é participante oficial do protocolo IndexNow, junto com outras ferramentas similares importantes. Ajudamos proprietários de websites a nos notificar instantaneamente quando o conteúdo é atualizado, garantindo uma indexação mais oportuna e precisa.
Verificação e listas de IPs
Endereços de IP
Rastreamos usando intervalos de IPs publicamente conhecidos. É possível obter nossos endereços IP como intervalos de IP ou IPs individuais. Consulte informações sobre como colocar nossos IPs na lista de permissões no artigo de ajuda.
DNS reverso
O sufixo do DNS reverso do nome do host dos IPs é sempre ahrefs.com ou ahrefs.net.
Status do site
Você pode verificar o status do seu site, como visto pelos nossos bots, e se ele é rastreável:
Benefícios para proprietários de sites
AhrefsBot indexa informações atualizadas e precisas sobre sites, seu conteúdo e como eles se conectam entre si. Esses dados são muito úteis e podem ser aproveitados de várias maneiras:
- O AhrefsBot alimenta o Yep, um mecanismo de pesquisa independente e focado na privacidade. Ser incluído no índice do Yep ajuda proprietários de sites a alcançar um novo público.
- O AhrefsBot fornece dados para o conjunto de ferramentas da Ahrefs. Proprietários de sites podem criar uma conta gratuita de webmaster Ahrefs e verificar a propriedade do domínio para desbloquear análises de sites, incluindo acesso a dados detalhados de backlinks, métricas de desempenho do site e monitoramento de mudanças de conteúdo. A Ahrefs também oferece um pacote de ferramentas gratuitas de SEO que qualquer pessoa pode usar sem criar uma conta.
- O AhrefsSiteAudit funciona com a ferramenta Site Audit. O Site Audit analisa sites em busca de problemas técnicos e de conteúdo, como links desfeitos, lentidão, falhas de segurança e erros de SEO. Pelo rastreamento e pela renderização de páginas, auxiliamos na identificação de melhorias para aumentar a visibilidade, velocidade de carregamento e a experiência do usuário. A Ahrefs ainda permite o uso do Site Audit de maneira gratuita para sites verificados para que proprietários detectem e solucionem problemas técnicos sem qualquer custo.
Políticas e compromissos
Obedecer a robots.txt
Ambos os bots respeitam estritamente o robots.txt nas regras disallow e allow, bem como diretrizes crawl-delay. Apenas proprietários de sites verificados podem permitir que o rastreador AhrefsSiteAudit desobedeça ao robots.txt no site para verificar problemas nas seções do site normalmente bloqueadas para rastreamento.
O atraso no rastreamento é estritamente seguido ao solicitar páginas HTML, garantindo que não excedamos os limites de taxa especificados. No entanto, não é possível respeitá-lo durante a renderização de JavaScript. Ao renderizar uma página, nossos bots podem requisitar diversos elementos (como imagens, scripts e folhas de estilo) ao mesmo tempo, o que pode levar a um número maior de solicitações nos logs do servidor do que o permitido pela configuração de atraso de rastreamento. Esse comportamento simula a experiência de um usuário real, já que páginas da web modernas muitas vezes exigem que múltiplos recursos sejam carregados de uma vez para uma renderização e funcionalidade adequadas.
Armazenar ativos em cache
Durante os rastreamentos, armazenamos em cache arquivos solicitados com frequência (imagens, CSS, JS) para minimizar buscas repetidas, o que reduz o consumo de largura de banda e carga do servidor.
Gerenciamento de carga
Se encontrarmos códigos de status diferentes de 200, sobretudo erros 4xx ou 5xx, reduziremos automaticamente nossa velocidade de rastreamento para o site. Isso garante o mínimo de estresse em sites que possam estar passando por interrupções ou alta carga do servidor.
Práticas transparentes
Reconhecemos que provedores de hospedagem, CDNs e plataformas de CMS podem querer gerenciar como os bots interagem com os sites de seus clientes. Nossos endereços IP e strings de user-agent, disponíveis publicamente, permitem que você ou seus provedores de serviço verifiquem rapidamente o tráfego legítimo da Ahrefs. Estamos comprometidos em ser transparentes sobre nossas atividades de rastreamento para promover confiança e colaboração. Se você tiver alguma preocupação, entre em contato por [email protected] e faremos o possível para ajudar.
Controlar o comportamento dos bots
Oferecemos opções claras e fáceis de usar para controlar nossos bots:
Via robots.txt
Para alterar a frequência com que o AhrefsBot ou AhrefsSiteAudit visita seu site, basta especificar o atraso mínimo aceitável entre duas solicitações consecutivas no arquivo robots.txt:
(Onde o valor Crawl-Delay é o tempo em segundos.)
Se você quiser impedir AhrefsBot ou AhrefsSiteAudit de visitar seu site ou uma seção dele, use as diretrizes Disallow:
O AhrefsBot não reconhece de imediato as alterações no arquivo robots.txt. Isso só acontecerá no próximo rastreamento programado. Proprietários de sites verificados podem permitir que o rastreador AhrefsSiteAudit ignore as regras do robots.txt para identificar problemas em seções do site que normalmente seriam bloqueadas para rastreamento.
Além disso, se seu robots.txt contiver erros, nossos bots não conseguirão reconhecer seus comandos e continuarão a rastrear seu site da forma como o faziam antes. Leia mais sobre robots.txt em www.robotstxt.org.
Retornar códigos de status diferentes de 200 para reduzir a velocidade de rastreamento
É possível reduzir temporariamente a velocidade de rastreamento do AhrefsBot. Isso pode ser útil em casos de interrupções ou mudanças de infraestrutura, quando a carga no site precisa ser reduzida. A redução temporária da taxa de rastreamento pode ser feita retornando códigos de status HTTP 4xx ou 5xx durante uma interrupção ou janela de manutenção. Nosso bot detectará esses erros e diminuirá automaticamente a velocidade.
Ajustar configurações de velocidade no Site Audit
O bot AhrefsSiteAudit evita carga excessiva nos servidores de sites ao limitar o rastreamento a no máximo 30 URLs por minuto. Se você é proprietário de um website, pode rastrear seus próprios sites em velocidades maiores caso queira receber notificações sobre os problemas do site mais rapidamente. Para fazer isso, você precisará verificar a propriedade na ferramenta Site Audit.
Fale conosco
Se você tiver alguma preocupação sobre a frequência com que rastreamos ou se detectar tráfego suspeito que deseja confirmar, entre em contato por [email protected]. Estamos aqui para ajudar a esclarecer e resolver quaisquer problemas.