Bots de Ahrefs
En Ahrefs, utilizamos dos rastreadores web principales, AhrefsBot y AhrefsSiteAudit, para respaldar nuestro conjunto de herramientas y servicios. El objetivo de nuestro rastreo es ayudar a los propietarios de sitios a mejorar su presencia en línea, al tiempo que minimizamos la carga en sus servidores y garantizamos un comportamiento de rastreo seguro y transparente.
Nuestros bots
AhrefsBot
- Token de agente de usuario en robots.txt:
AhrefsBot Obedece al archivo robots.txt: Sí
Obedece el retraso de rastreo: Sí
AhrefsSiteAudit
- Token de agente de usuario en robots.txt:
AhrefsSiteAudit Obedece al archivo robots.txt: Sí, de forma predeterminada (los propietarios de sitios web pueden solicitar en sus sitios que se desobedezca robots.txt)
Obedece el retraso de rastreo: Sí, de forma predeterminada (los propietarios de sitios web pueden solicitar en sus sitios que se desobedezca el retraso de rastreo)
Verificado por Cloudflare
Cloudflare, una empresa líder en seguridad y rendimiento web, reconoce a AhrefsBot y aAhrefsSiteAudit como bots "buenos" verificados.
Socio de IndexNow
Yep, un motor de búsqueda desarrollado por Ahrefs, es un participante oficial en el protocolo IndexNow, junto con otros motores de búsqueda importantes. Ayudamos a los propietarios de sitios web a notificarnos inmediatamente cuando el contenido se actualiza, lo que garantiza una indexación más oportuna y precisa.
Verificación y listas de IP
Direcciones IP
Rastrearemos desde rangos de IP públicas. Puedes extraer nuestras direcciones IP como rangos de IP o IP individuales. Encontrarás más información sobre cómo incluir nuestras IP en la lista blanca en el artículo de ayuda.
DNS inverso
El sufijo DNS inverso del nombre de host de las IP siempre es ahrefs.com o ahrefs.net.
Estado del sitio web
Puedes verificar el estado de tu sitio web tal como lo ven nuestros bots y comprobar si pueden rastrearlo:
Ventajas para propietarios de sitios
AhrefsBot indexa información precisa y actualizada sobre sitios web y sus contenidos, así como también indexa la forma en la que se enlazan entre sí. Estos datos son de gran utilidad y se pueden aprovechar de formas muy diversas:
- AhrefsBot impulsa Yep, un motor de búsqueda independiente y centrado en la privacidad. Estar incluido en el índice de Yep ayuda a los propietarios de sitios a llegar a un público nuevo.
- AhrefsBot suministra datos en el conjunto de herramientas de Ahrefs. Los propietarios de sitios pueden crear una cuenta de administrador web de Ahrefs gratuita y verificar la propiedad del dominio para desbloquear análisis del sitio, incluyendo acceso a datos específicos de backlinks, métricas de rendimiento del sitio web y supervisión de cambios en el contenido. Ahrefs también ofrece un conjunto de herramientas de SEO gratuitas que cualquiera puede usar sin necesidad de crear una cuenta.
- AhrefsSiteAudit impulsa nuestra herramienta Site Audit. Esta herramienta analiza los sitios web en busca de problemas técnicos y en página (on-page), como enlaces rotos, rendimiento lento, errores de configuración de seguridad y fallos de SEO. Al rastrear y renderizar páginas, ayudamos a identificar mejoras que pueden aumentar la visibilidad, la velocidad de carga y la experiencia general del usuario. Ahrefs también ofrece la opción de ejecutar Site Audit de forma gratuita en sitios web verificados, ayudando a los propietarios de sitios a identificar y corregir problemas técnicos sin coste adicional
Políticas y compromisos
Cumplimiento de robots.txt
Ambos bots respetan estrictamente el archivo robots.txt, tanto en las reglas de no permitir (disallow) como en las de permitir (allow), así como las directivas de retraso de rastreo. Solo los propietarios de sitios verificados pueden permitir que el rastreador AhrefsSiteAudit desobedezca al archivo robots.txt en su sitio para comprobar si existen problemas en las secciones del sitio donde normalmente no está permitido rastrear.
El retraso de rastreo se respeta estrictamente al solicitar páginas HTML para no sobrepasar los límites de velocidad establecidos. Sin embargo, no puede aplicarse al renderizar JavaScript. Cuando nuestros bots renderizan una página, podrían solicitar simultáneamente múltiples recursos (p. ej., imágenes, scripts, hojas de estilos), lo que puede generar más solicitudes en los registros del servidor de las permitidas por el retraso de rastreo. Este comportamiento simula la experiencia de un usuario real, ya que las páginas web modernas a menudo requieren la carga de múltiples recursos al instante para un correcto renderizado y funcionamiento.
Almacenamiento en caché de activos
Durante los rastreos, almacenamos en caché los archivos solicitados frecuentemente (imágenes, CSS, JS) para minimizar la obtención reiterada, lo que reduce el consumo de ancho de banda y la carga del servidor.
Gestión de la carga
Si encontramos códigos de estado distintos a 200, especialmente errores 4XX o 5XX, automáticamente reducimos nuestra velocidad de rastreo para ese sitio. Esto garantiza una carga mínima en los sitios que pueden estar experimentando interrupciones o sobrecargas del servidor.
Prácticas transparentes
Entendemos que es posible que los proveedores de hosting, redes de distribución de contenidos y plataformas CMS quieran gestionar cómo los bots interactúan con los sitios de sus clientes. Nuestras direcciones IP y cadenas de agente de usuario públicas te permiten a ti, o a tus proveedores, verificar rápidamente el tráfico legítimo de Ahrefs. Estamos comprometidos con la transparencia en nuestras actividades de rastreo para fomentar la confianza y la colaboración. Si tienes alguna duda, ponte en contacto con nosotros a través de [email protected] y haremos todo lo posible por ayudarte.
Control del comportamiento de los bots
Ofrecemos opciones claras y sencillas para controlar nuestros bots:
A través de robots.txt
Para cambiar la frecuencia con la que AhrefsBot o AhrefsSiteAudit visitan tu sitio, especifica el retraso mínimo adecuado entre dos solicitudes consecutivas en tu archivo robots.txt:
(Donde el valor del retraso de rastreo representa tiempo en segundos).
Si no deseas que AhrefsBot o AhrefsSiteAudit visite tu sitio o una parte de él, utiliza las directivas de desautorización:
Ten en cuenta que AhrefsBot podría necesitar un tiempo para detectar los cambios en tu archivo robots.txt. Esta acción se realiza antes del próximo rastreo programado. Los propietarios de sitios verificados pueden permitir que el rastreador AhrefsSiteAudit desobedezca al archivo robots.txt en su sitio para comprobar si existen problemas en las secciones del sitio donde normalmente no está permitido rastrear.
Además, si tu archivo robots.txt contiene errores, nuestros bots no podrán reconocer tus comandos y seguirán rastreando tu sitio web de la misma forma que lo hacían antes. Obtén más información sobre robots.txt en www.robotstxt.org.
Conversión de códigos de estado distintos a 200 para reducir la velocidad de rastreo
Puedes reducir temporalmente la velocidad de rastreo de AhrefsBot. Puede ser útil en casos de interrupciones o cambios en la infraestructura, cuando es necesario disminuir la carga en el sitio. Para ello, puedes devolver códigos de estado HTTP 4XX o 5XX durante el tiempo que dure la interrupción o el mantenimiento. Nuestro bot detectará estos errores y reducirá automáticamente la frecuencia de rastreo.
Ajuste de las configuraciones de velocidad en Site Audit
El bot AhrefsSiteAudit previene una carga excesiva en los servidores de los sitios web limitando el rastreo a 30 URL por minuto como máximo. Si tienes un sitio web, puedes rastrear tus sitios a velocidades más elevadas si deseas conocer más rápido los problemas del sitio. Para ello, deberás verificar la propiedad en la herramienta Site Audit.
Ponte en contacto con nosotros
Si tienes alguna duda sobre nuestra frecuencia de rastreo o si detectas tráfico sospechoso que deseas confirmar, ponte en contacto con nosotros a través de [email protected]. Estamos aquí para ayudarte a aclarar y resolver cualquier problema.