Vista general

Antes de aprender a usar cada herramienta, conviene saber de dónde obtenemos nuestros datos.

En Ahrefs, rastreamos la web de forma muy similar a como lo hacen los motores de búsqueda: con rastreadores.

Nuestro rastreador se llama AhrefsBot. Es el rastreador SEO más activo (y el octavo rastreador más activo por detrás de los de Google y Bing). Visita más de 8.000 millones de páginas web cada 24 horas y actualiza su índice entre cada 15 y 30 minutos.

Funciona de la siguiente manera:

1. Nuestro rastreador parte de una gran lista de URL conocidas.

2. Estas URL se envían al Planificador, que decide cuándo debe rastrearse una URL.

3. Cuando una URL esté lista para analizarse, AhrefsBot la enviará al Rastreador y descargará su contenido, respetando estrictamente las reglas de allow/disallow establecidas en el archivo robots.txt.

4. El rastreador enviará los datos sin procesar al Analizador sintáctico, que extrae los enlaces de esa página, el título y otros metadatos relevantes.

5. A continuación, los datos extraídos se envían al Indexador.

6. Luego, se añaden al Índice de enlaces y están disponibles en varios informes de Ahrefs.

Esta es una explicación lineal y simplificada de cómo funciona nuestro rastreador. Para descubrir nuevas páginas continuamente y aumentar el tamaño de nuestro índice de backlinks, ampliamos nuestra lista de URL detectando nuevos enlaces a partir de:

• Datos analizados

• Redirecciones encontradas mediante el Rastreador