AhrefsBot
Learn about the web crawler that powers Ahrefs.
| Versão | 7.0 |
|---|---|
| Bot type | Bom (Identifica-se, tem um apelido oficial) |
| Categoria | Marketing |
| Obeys robots.txt | Sim |
| Obeys crawl delay | Sim |
| User-agent string | Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/) |
| Sufixo DNS reversa | ahrefs.com |
| Intervalo de endereços IP |
Website status
O que é o AhrefsBot?
AhrefsBot is a web crawler that powers the database for both Ahrefs, an online data toolset, and Yep, a revenue-sharing web search engine. It’s the third most active crawler after Google’s and Bing's, visiting over 8 billion web pages every 24 hours and updating its index every 15–30 minutes.
Our bot indexes fresh, accurate information about websites and their content, and how they link to each other. This data is incredibly useful and can be harnessed in many ways:
Search with Yep to find top-quality content and all the information you need, all while supporting an alternative search engine that aims to put money in the pockets of your favorite content creators.
If you’re a website owner, use Ahrefs to analyze your website's structure, content, and backlinks to provide insights into its performance – then optimize it to improve user experience, rank higher in search engines, and get more traffic.
When it comes to web-scale research, Ahrefs lets you dig into how the popularity of a website or specific topic has changed over time, which websites are linking to what types of content, how many times a brand has been mentioned recently, and so on.
Rank | Bot | Owner | Category |
|---|---|---|---|
1 | GoogleBot | Search Engine Crawler | |
2 | BingBot | Microsoft | Search Engine Crawler |
3 | DataDog Synthetic Bot | DataDog | Monitoring & Analytics |
4 | AhrefsBot | Ahrefs | Search Engine Optimization |
5 | Qualys | Qualys | Search Engine Crawler |
6 | YandexBot | Yandex | Search Engine Crawler |
7 | PetalBot | Huawei | Search Engine Crawler |
8 | Google AdsBot | SAdvertising & Marketing | |
9 | Google Image Proxy | Page Preview | |
10 | Google Images | Search Engine Crawler |
Rastreadores classificados pelo número de pedidos. Dados fornecidos em abril, 2023
Perguntas? Nós temos respostas
O AhrefsBot respeita ficheiros robots.txt?
Sim. Absolutamente.Respeitamos estritamente o robos.txt tanto nas regras de disallow como allow.Como controlo o AhrefsBot no meu website?
Uma vez que o AhrefsBot segue estritamente o ficheiro robots.txt no seu website, está em controlo total de como ele se comporta.Para alterar a frequência com que o AhrefsBot visita o seu site, basta especificar a aceitável duração mínima entre dois pedidos consecutivos no ficheiro robots.txt:User-agent: AhrefsBotCrawl-Delay: [valor](Onde o valor Crawl-Delay é o tempo em segundos.)Se pretende impedir o AhrefsBot de visitar o seu site, adicione estas duas linhas ao ficheiro robots.txt no seu servidor:User-agent: AhrefsBotDisallow: /Por favor note que o AhrefsBot pode precisar de algum tempo para reconhecer as alterações no ficheiro robots.txt. Isto é feito antes do próximo rastreio agendado.Mas também, se o robots.txt tiver erros, o AhrefsBot não será capaz de reconhecer os seus comandos e continuará a rastrear o seu site da maneira que fazia antes.Leia mais sobre o robots.txt em www.robotstxt.org.Se considera que o AhrefsBot não se comporta bem no seu website ou se tiver alguma dúvida, entre em contato pelo endereço [email protected] e faremos o nosso melhor para o ajudar.
Tem outras questões?
If you have more questions,
contacte-nos so we can help.