Cómo optimizar tu sitio web para motores de respuesta

Ninguno de los consejos de esta guía sirve si los rastreadores de IA no pueden leer tus páginas. Las páginas bloqueadas no pueden citarse, y a menudo ocurre por accidente.

Analizamos unos 140 millones de sitios web y descubrimos que GPTBot es ahora el bot de IA más bloqueado (5,89 % de los sitios), con ClaudeBot muy cerca.

Cloudflare bloquea las plataformas de IA de forma predeterminada, así que comprueba que tu CDN no te haya dejado fuera sin avisar.

“Permitir rastreadores de IA” no es una sola decisión, porque cada plataforma ejecuta varios bots que hacen trabajos distintos.

Solo OpenAI ejecuta tres:

• GPTBot recopila contenido para el entrenamiento
• OAI-SearchBot crea el índice de búsqueda del que ChatGPT obtiene resultados
• ChatGPT-User recupera una página en directo cuando alguien pregunta por ella a mitad de la conversación

Las compensaciones son distintas en cada caso. Bloquear GPTBot evita que tu contenido entre en los datos de entrenamiento del siguiente modelo, que es la decisión que los editores suelen sopesar. Bloquear OAI-SearchBot te elimina del índice en el que busca ChatGPT, que es lo que hoy te cuesta citas y tráfico de referencia. Muchos sitios bloquean el segundo por accidente cuando en realidad pretendían bloquear solo el primero.

La forma más rápida de ver en qué punto estás es usar una herramienta como AI Crawler Access Checker, que lee tu robots.txt y te dice qué rastreadores tienen permitido el acceso.

Para ver qué bots aparecen de verdad, en lugar de cuáles están permitidos, consulta Bot Analytics de Ahrefs. Hace un seguimiento de las visitas en 12 categorías de bots, incluido un filtro de IA específico, usando datos del lado del servidor a través de Cloudflare, así que funciona sin añadir JavaScript a tu sitio.

Los rastreadores de IA suelen leer el HTML sin procesar y, en su mayoría, no renderizan JavaScript como lo haría un navegador.

Eso significa que cualquier cosa que solo aparezca después de JS del lado del cliente puede ser invisible para ellos.

Ve sobre seguro y usa renderizado del lado del servidor para darle a tu página la mejor oportunidad de visibilidad en IA.

Las páginas que cargan lento pueden afectar negativamente a tu rendimiento en la búsqueda tradicional, pero, si acaso, parece tener una penalización aún mayor en los motores de respuestas. La velocidad de página parece ayudar a decidir si llegas a entrar siquiera en la ventana de contexto del modelo.¹

Comprueba la velocidad de página (conocida como tiempo hasta el primer byte) en Site Audit:

llms.txt es un estándar propuesto para un archivo Markdown en tu dominio raíz (p. ej., website.com/llms.txt) que indica a los LLM dónde se encuentra tu mejor contenido: documentación, políticas, taxonomías de producto. En principio, es como robots.txt para modelos de lenguaje.

Pero en la práctica, ningún proveedor importante de LLM se ha comprometido a leerla. Ni OpenAI, ni Anthropic, ni Google.

Comprobamos qué pasa realmente cuando un sitio web añade llms.txt. En 137.000 dominios que usan Ahrefs Web Analytics, el 28% publica un archivo llms.txt. De los ~38.000 con uno válido, el 97% recibió cero solicitudes para él en el mes que medimos.

Del pequeño porcentaje de archivos que sí se recuperaron, el 96 % de las solicitudes provenía de bots. Slackbot, el bot de vista previa de links, obtuvo llms.txt con más frecuencia que PerplexityBot. En resumen, los motores de búsqueda de IA más importantes no parecen usarlo.

Google ha sido explícito al respecto. Su guía sobre optimización para funciones de IA generativa tiene una sección literalmente titulada “mythbusting” que dice a los propietarios de sitios que no hacen falta archivos legibles por máquinas como llms.txt para aparecer en la búsqueda con IA generativa. John Mueller fue más allá y lo comparó con la antigua metaetiqueta de keywords:

Entonces, ¿deberías crear uno? Si publicas documentación para desarrolladores, cuesta unos diez minutos y hay un caso de uso plausible. Mueller lo describió como “una muleta temporal, quizá para ahorrar algunos tokens” para herramientas de programación con IA que analizan documentación. Para todos los demás, es trabajo sin retorno medible, además de un pequeño inconveniente: facilita que los competidores extraigan tu contenido en bloque.

Los asistentes de IA se inventan links a tu sitio web, y lo hacen a menudo. Comprobamos el estado HTTP de 16 millones de URL citadas por ChatGPT, Perplexity, Copilot, Gemini, Claude y Mistral, y descubrimos que los asistentes de IA envían a los visitantes a páginas 404 con 2,87 veces más frecuencia que la Búsqueda de Google.

ChatGPT es, con diferencia, el peor infractor. El 1,01 % de sus URL en las que se hace clic devuelven un 404, frente a un valor de referencia de Google del 0,15 %.

Perplexity (0,87%) y Gemini (0,86%) están casi exactamente en la misma tasa que la propia Google: 0,84% para las URL citadas. Tiene sentido, ya que ambos recuperan información del índice de Google, así que heredan sus enlaces rotos en lugar de inventarse los suyos.

Las URL inventadas se infieren a partir de tus patrones existentes. Una URL alucinada habitual en nuestro sitio era ahrefs.com/keywords, porque hablamos de palabras clave constantemente y el modelo dio por sentado que debía existir una página así. No existe.

Esta es una de las pocas victorias realmente gratuitas en AEO. Alguien con una intención real preguntó por tu producto, fue enviado a tu sitio y se topó con un callejón sin salida. Te encontrarás con tres tipos distintos:

• URLs alucinadas. Páginas que un modelo inventó a partir de la estructura de tus URL.
• URL obsoletas. Páginas que existieron en algún momento, recordadas por datos de entrenamiento u otras fuentes de datos desactualizadas.
• URL mal escritas o variantes. Casi aciertos en páginas reales.

Por ese motivo, hemos añadido un filtro a Web Analytics que te ayudará a encontrar URL alucinadas en solo dos clics. Si buscas una alternativa sencilla a Google Analytics, gratis hasta 1 millón de eventos al mes, échale un vistazo:

Si se sigue solicitando una URL alucinada, el modelo te está diciendo qué página esperan encontrar tus visitantes.

En última instancia, todas las tácticas de esta guía dependen de una sola cosa: si los sistemas de IA reconocen tu marca como una entidad distinta.

Knowledge Graph de Google—una base de datos de 54 mil millones de entidades y más de 1,6 billones de hechos sobre cómo se relacionan—ya no es solo el motor que hay detrás de los paneles de conocimiento.

Ahora es la infraestructura central de AI Overviews, AI Mode y Gemini.

Si tu marca no está claramente establecida como entidad, con señales coherentes en tu sitio, datos estructurados y fuentes autorizadas de terceros, te arriesgas a ser invisible en las respuestas de IA, no solo en los links azules.

A menudo se presenta Schema como una forma rápida de ganar visibilidad en IA, y la correlación superficial parece convincente: las páginas citadas por la IA tienen casi tres veces más probabilidades de tener JSON-LD.

Pero la correlación no implica causalidad. Hicimos un seguimiento de 1.885 páginas que añadieron JSON-LD frente a 4.000 controles y no encontramos ninguna mejora significativa en AI Mode ni en ChatGPT, y sí una ligera caída en AI Overview que no pudimos atribuir al Schema.

Entonces, ¿schema no sirve para nada? No, pero su papel es lento e indirecto, no una táctica de resultado rápido.

Puedes comprobar si Google ya te reconoce usando la API de Knowledge Graph de Google o un verificador gratuito para ver qué tipo de entidad te ha asignado y si los atributos son correctos.

Por ejemplo, Knowledge Graph Tool de Carl Hendy te muestra resultados para personas, empresas, productos, lugares y otras entidades.

A partir de ahí, intenta conseguir menciones de publicaciones de autoridad y mantén tus datos coherentes en todas partes: el mismo nombre, descripción y categoría en tu sitio, tus perfiles y los listados de terceros.

Luego añade schema donde sea natural, priorizando los tipos que definen tu entidad y sus relaciones:

• Schema de Organization y sameAs enlazado a tus perfiles de Wikipedia, Wikidata y redes sociales

• Schema de persona para los autores de tu sitio

• Schema de producto para tus ofertas

Te dejo con esta reflexión final: cada vez más “lectores” en los que intentas influir son en realidad agentes de IA que navegan y compran en nombre de tu audiencia.

De hecho, en junio de 2026 el CEO de Cloudflare, Matthew Prince, reveló que el tráfico agéntico (bot/rastreador/agente) había superado por primera vez el 50% en la historia de internet.^{2, 3}

Lejos de ser un caso extremo o una novedad, las búsquedas de “IA agéntica” se han multiplicado por 84 en tres años, a medida que el coste de ejecutar un agente ha bajado de dólares a céntimos.

Todavía no necesitas reconstruir tu web solo para agentes de IA. Pero el consejo de siempre de crear contenido exclusivamente para humanos y no preocuparte por los robots probablemente ya no se sostiene tanto como antes.

Este capítulo trata de influir en la IA en la que confía el ser humano, y el marketing de agente a agente es eso, pero llevando la idea un paso más allá.