Cómo optimizar tu sitio web para motores de respuesta

Ninguno de los consejos de esta guía servirá de nada si los rastreadores de IA no pueden leer tus páginas. Las páginas bloqueadas no se pueden citar, y a menudo sucede por accidente.

Analizamos unos 140 millones de sitios web y descubrimos que GPTBot es actualmente el bot de IA más bloqueado (5,89 % de los sitios), con ClaudeBot muy cerca.

Cloudflare bloquea las plataformas de IA de forma predeterminada, por lo que conviene verificar que tu CDN no te haya excluido sin avisar.

“Permitir rastreadores de IA” no es una decisión única, ya que cada plataforma ejecuta varios bots que desempeñan funciones distintas.

Solo OpenAI ejecuta tres:

• GPTBot recopila contenido para el entrenamiento
• OAI-SearchBot crea el índice de búsqueda del que ChatGPT obtiene resultados
• ChatGPT-User obtiene una página en tiempo real cuando alguien pregunta por ella a mitad de una conversación

Las implicaciones son distintas en cada caso. Bloquear GPTBot evita que tu contenido forme parte de los datos de entrenamiento del próximo modelo, que es la decisión que los editores suelen sopesar. Bloquear OAI-SearchBot te elimina del índice en el que busca ChatGPT, que es lo que hoy te cuesta citas y tráfico de referencia. Muchos sitios bloquean el segundo por accidente cuando solo pretendían bloquear solo el primero.

La forma más rápida de ver en qué punto te encuentras es usar una herramienta como AI Crawler Access Checker, que lee tu robots.txt y te indica qué rastreadores tienen permitido el acceso.

Para ver qué bots aparecen de verdad, en lugar de cuáles están permitidos, consulta Bot Analytics de Ahrefs. Hace un seguimiento de las visitas en 12 categorías de bots, incluido un filtro de IA específico, mediante datos en el lado del servidor a través de Cloudflare, por lo que funciona sin necesidad de añadir JavaScript a tu sitio.

Los rastreadores de IA suelen leer el HTML sin procesar y, en su mayoría, no renderizan JavaScript como lo haría un navegador.

Eso significa que cualquier contenido que solo aparezca después de la ejecución de JS en el lado del cliente puede resultar invisible para ellos.

Ve sobre seguro y apuesta por el renderizado en el lado del servidor para darle a tu página la mejor oportunidad de visibilidad en IA.

Las páginas que cargan despacio pueden perjudicar tu rendimiento en la búsqueda tradicional, pero, en todo caso, parece sufrir una penalización aún mayor en los motores de respuesta. La velocidad de página parece contribuir a determinar si llegas a entrar siquiera en la ventana de contexto del modelo.¹

Comprueba la velocidad de tu página (conocida como tiempo hasta el primer byte) en Site Audit:

llms.txt es un estándar propuesto para un archivo Markdown en tu dominio raíz (p. ej., website.com/llms.txt) que indica a los LLM dónde se encuentra tu mejor contenido: documentación, políticas o taxonomías de producto. En principio, funciona como un robots.txt pero orientado a modelos de lenguaje.

Pero, en la práctica, ningún proveedor principal de LLM se ha comprometido a leerlo. Ni OpenAI, ni Anthropic, ni Google.

Comprobamos qué pasa realmente cuando un sitio web añade un archivo llms.txt. En 137.000 dominios que usan Ahrefs Web Analytics, el 28 % publica un archivo llms.txt. De los, ~38.000 que cuentan con uno válido, el 97 % recibió cero peticiones durante el mes en que realizamos la medición.

De la pequeña proporción de archivos que realmente se solicitaron, el 96 % de las peticiones procedían de bots. Slackbot, el bot de vista previa de enlaces, solicitó llms.txt con más frecuencia que PerplexityBot. Dicho de forma sencilla, los motores de búsqueda de IA más importantes no parecen usarlo.

Google ha sido explícito al respecto. Su guía sobre optimización para funciones de IA generativa tiene una sección literalmente titulada “Desmitificación”, donde indica a los propietarios de sitios que no hacen falta archivos legibles por máquinas como llms.txt para aparecer en las búsquedas con IA generativa. John Mueller fue más allá y lo comparó con la antigua metaetiqueta de palabras clave:

Entonces, ¿deberías crear uno? Si publicas documentación para desarrolladores, solo lleva unos diez minutos y existe un caso de uso plausible. Mueller lo describió como una “muleta temporal, quizá para ahorrar algunos tokens” para las herramientas de programación con IA que analizan documentación. Para todos los demás, supone un esfuerzo sin un retorno medible, además de un pequeño inconveniente al facilitar que los competidores extraigan tu contenido en bloque.

Los asistentes de IA se inventan enlaces a tu sitio web, y lo hacen a menudo. Comprobamos el estado HTTP de 16 millones de URL citadas por ChatGPT, Perplexity, Copilot, Gemini, Claude y Mistral, y descubrimos que los asistentes de IA envían a los visitantes a páginas 404 con 2,87 veces más frecuencia que la búsqueda de Google.

ChatGPT es, con diferencia, el caso más grave. El 1,01 % de las URL en las que los usuarios hacen clic devuelven un error 404, frente a un valor de referencia de Google del 0,15 %.

Perplexity (0,87 %) y Gemini (0,86 %) están casi exactamente en la misma tasa que el propio Google: 0,84 % para las URL citadas. Esto tiene sentido, ya que ambos extraen información del índice de Google, por lo que heredan sus enlaces rotos en lugar de inventar los suyos propios.

Las URL inventadas se deducen a partir de tus patrones existentes. Una URL alucinada muy común en nuestro sitio era ahrefs.com/keywords, porque hablamos de palabras clave constantemente y el modelo dio por sentado que debía existir una página como esta. Y no existe.

Esta es una de las pocas victorias realmente gratuitas en AEO. Alguien con una intención real preguntó por tu producto, llegó a tu sitio y se topó con un callejón sin salida. Te encontrarás con tres tipos diferentes:

• URL alucinadas. Páginas que un modelo inventó a partir de la estructura de tus URL.
• URL obsoletas. Páginas que existieron en algún momento, recordadas por datos de entrenamiento u otras fuentes de datos desactualizadas.
• URL con errores tipográficos o variantes. Coincidencias aproximadas en páginas reales.

Por ese motivo, hemos añadido un filtro a Web Analytics que te ayudará a encontrar URL alucinadas en tan solo dos clics. Si buscas una alternativa sencilla a Google Analytics, gratuita hasta para 1 millón de eventos al mes, échale un vistazo:

Si se sigue solicitando una URL fruto de una alucinación, el modelo te está indicando qué página esperan encontrar tus visitantes.

En última instancia, todas las tácticas de esta guía dependen de una sola cosa: si los sistemas de IA reconocen tu marca como una entidad diferenciada.

Knowledge Graph de Google, una base de datos de 54.000 millones de entidades y más de 1,6 billones de datos sobre cómo se relacionan entre sí, ya no es solo el motor que hay detrás de los paneles de conocimiento.

Ahora es la infraestructura central de AI Overviews, Modo IA y Gemini.

Si tu marca no está claramente consolidada como entidad, con señales coherentes en tu sitio, datos estructurados y fuentes de terceros con autoridad, te arriesgas a ser invisible en las respuestas de IA, no solo en los enlaces azules.

A menudo se presenta Schema como una forma rápida de ganar visibilidad en IA, y la correlación superficial parece convincente: las páginas citadas por la IA tienen casi tres veces más probabilidades de incluir JSON-LD.

Sin embargo, la correlación no implica causalidad. Hicimos un seguimiento de 1885 páginas que añadieron JSON-LD frente a 4000 controles y no encontramos ninguna mejora significativa en Modo IA ni en ChatGPT, pero sí una ligera caída en AI Overviews que no pudimos atribuir a Schema.

Entonces, ¿Schema no sirve para nada? No, pero su papel es lento e indirecto, no una táctica de éxito rápido.

Puedes comprobar si Google ya te reconoce usando la API de Knowledge Graph de Google o un comprobador gratuito para ver qué tipo de entidad te ha asignado y si los atributos son correctos.

Por ejemplo, la herramienta Knowledge Graph de Carl Hendy te muestra resultados sobre personas, empresas, productos, lugares y otras entidades.

A partir de ahí, intenta conseguir menciones en publicaciones con autoridad y mantén la coherencia de tus datos en todas partes: el mismo nombre, descripción y categoría en tu sitio, tus perfiles y los directorios de terceros.

A continuación, añade Schema donde resulte natural, priorizando los tipos que definen tu entidad y sus relaciones:

• Schema de Organization y sameAs enlazado a tus perfiles de Wikipedia, Wikidata y redes sociales

• Schema de persona para los autores de tu sitio

• Schema de producto para tus ofertas

Te dejo con esta reflexión final: cada vez más “lectores” en los que intentas influir son en realidad agentes de IA que navegan y compran en nombre de tu audiencia.

De hecho, en junio de 2026, el CEO de Cloudflare, Matthew Prince, reveló que el tráfico agéntico (bot/rastreador/agente) había superado por primera vez el 50 % en la historia de Internet.^{2, 3}

Lejos de ser un caso extremo o una novedad, las búsquedas de “IA agéntica” se han multiplicado por 84 en tres años, a medida que el coste de ejecutar un agente se ha reducido a una fracción de su valor original.

Todavía no necesitas reconstruir tu web solo para agentes de IA. Sin embargo, el consejo de siempre de crear contenido exclusivamente para humanos sin preocuparse por los robots probablemente ya no se sostiene de la misma manera que antes.

Este capítulo trata sobre cómo influir en la IA en la que confía el ser humano, y el marketing de agente a agente es precisamente eso, pero llevado un paso más allá.