Presupuesto de rastreo

“Tener un índice actualizado, una buena cobertura o que no te bloqueen. Elige dos.”
– Dmytro Gerasymenko, fundador y director ejecutivo de Ahrefs

Al crear un gran índice, siempre hay que sacrificar mantenerlo actualizado o tener una buena cobertura.

La actualización implica realizar rastreos periódicos para mantener la información al día. Una buena cobertura implica rastrear tantas páginas como sea posible. Sin embargo, no puedes disfrutar de ambas cosas al máximo; de lo contrario, los administradores web y las empresas de hosting te bloquearían.

La respuesta a esto es implementar un presupuesto de rastreo, que hace referencia al número de URL que un rastreador puede y quiere rastrear.

El presupuesto de rastreo se compone de dos partes: frecuencia de rastreo y demanda de rastreo.

Frecuencia de rastreo

La frecuencia de rastreo hace referencia al número de solicitudes que un rastreador puede enviar a un sitio al rastrearlo.

Rastrear un sitio web demasiado rápido puede generar demasiada carga en un servidor. Como esto puede provocar una mala experiencia de usuario o que bloqueen nuestro rastreador, nuestra frecuencia de rastreo tiene en cuenta lo siguiente:

• Velocidad de la página – Se prefieren las páginas que cargan más rápido frente a las que cargan más lento.

• Tamaño del sitio web – Es más probable que los sitios web pequeños con enlaces de alta calidad se rastreen por completo, en comparación con sitios web más grandes con enlaces de baja calidad que podrían rastrearse solo parcialmente.

Demanda de rastreo

La demanda de rastreo, o prioridad de rastreo, representa el nivel de importancia que se asigna a rastrear y volver a rastrear páginas de un sitio web.

Esto lo hace nuestro planificador, que determina la demanda de rastreo en función de lo siguiente:

• Popularidad de la URL (URL Rating): cuanto mayor sea la calidad de los backlinks que apuntan a una página, mayor será la prioridad.

• Popularidad del sitio web (Domain Rating): cuanto mayor sea la solidez del perfil de backlinks de un sitio web, mayor será la prioridad.