10 Maneras de hacer que Google indexe tu sitio (Que sí funcionan)

Dado que ya estás aquí, supongo que esto no es nada nuevo para ti. Así que vamos a ir directamente al grano.

Este artículo te enseña cómo solucionar cualquiera de estos tres problemas:

1. Todo tu sitio web no está indexado.
2. Algunas de sus páginas están indexadas, pero otras no lo están.
3. Tus páginas web publicadas recientemente no se están indexando con la suficiente rapidez.

Pero primero, vamos a asegurarnos de que estamos en la misma frecuencia y que entendemos completamente estos disparates sobre la indexación.

Google descubre nuevas páginas web rastreando la web, y luego añade esas páginas a su índice. Hacen esto usando una araña web llamada Googlebot.

¿Confundido? Vamos a definir algunos términos clave.

• Rastrear: El proceso de seguir hipervínculos en la web para descubrir nuevos contenidos.
• Indexar: El proceso de almacenar todas las páginas web en una vasta base de datos.
• Araña Web: Un pedazo de software diseñado para llevar a cabo el proceso de rastreo a gran escala.
• Googlebot: La araña web de Google.

Aquí tienes un vídeo de Google que explica el proceso con más detalle:

https://www.youtube.com/watch?v=BNHR6IQJGZs

Cuando googleas algo, le estás pidiendo a Google que muestre todas las páginas relevantes de su índice. Debido a que a menudo hay millones de páginas que se ajustan a tu búsqueda, el algoritmo de ranking de Google hace todo lo posible para ordenar las páginas de tal forma que veas los mejores y más relevantes resultados primero.

El punto crítico que estoy resaltando aquí es que la indexación y el posicionamiento son dos cosas diferentes.

Indexar es presentarte para la carrera; posicionar es ganarla.

No puedes ganar sin presentarte a la carrera primeramente.

Ve a Google, a continuación, busca sitio:tusitioweb.com

Este número indica aproximadamente el número de tus páginas que Google ha indexado.

Si deseas comprobar el estado del índice de una URL en específico, utiliza el mismo operador sitio:tusitioweb.com/página-web-slug

No se mostrarán resultados si la página no está indexada.

Ahora bien, vale la pena señalar que si eres un usuario de Google Search Console, puedes utilizar el informe de Cobertura para obtener una visión más precisa sobre el estado de indexación de tu sitio web. Sólo tienes que ir a:

Google Search Console > Indice > Cobertura

Mira el número de páginas válidas (con y sin advertencias).

Si estos dos números suman algo distinto a cero, entonces Google tiene al menos algunas de las páginas de tu sitio web indexadas. Si no, entonces tienes un problema grave, ya que ninguna de tus páginas web están indexadas.

También puedes utilizar Search Console para comprobar si una página específica está indexada. Para ello, pega la URL en la herramienta de inspección de URLs.

Si esa página está indexada, te indicará “la URL está Google.”

Si la página no está indexada, verás la frase “la URL no está en Google.”

¿Descubriste que tu sitio o página web no está indexada en Google? Prueba esto:

1. Ve a Google Search Console
2. Navega hacia la herramienta de Inspección de URLs
3. Pegar la URL que deseas que Google indexe en la barra de búsqueda.
4. Espera a que Google compruebe la URL
5. Haz clic en el botón “Solicitar la indexación”

Este proceso es una buena práctica cuando publicas una nueva entrada o página. Le estás diciendo de manera efectiva a Google que has añadido algo nuevo a tu sitio y que deberían echarle un vistazo.

Sin embargo, es poco probable que el solicitar la indexación resuelva los problemas subyacentes que impiden que Google indexe páginas viejas. Si ese es el caso, sigue el siguiente checklist para diagnosticar y solucionar el problema.

Aquí hay algunos enlaces rápidos a cada táctica- en caso de que ya hayas probado algunas:

1. Elimina los bloqueos de rastreo en el archivo robots.txt
2. Quita las etiquetas noindex maliciosas
3. Incluye la página en tu sitemap
4. Quita las etiquetas canónicas maliciosas
5. Comprueba que la página no esté huérfana
6. Arregla los enlaces internos nofollow
7. Añade enlaces internos “poderosos”
8. Asegúrate de que la página es valiosa y única
9. Elimina páginas de baja calidad (para optimizar el “presupuesto de rastreo”)
10. Construye backlinks de alta calidad

1) Elimina los bloqueos de rastreo en el archivo robots.txt

¿Google no está indexando todo tu sitio web? Podría ser debido a un bloqueo de rastreo en algo que se llama un archivo robots.txt.

Para comprobar si este es el problema, ve a tudominio.com/robots.txt.

Busca cualquiera de estos dos fragmentos de código:

User-agent: Googlebot</p>
<p>Disallow: / 

User-agent: *</p>
<p>Disallow: / 

Ambos le dicen al robot de Google que no tienen permitido rastrear ninguna página de tu sitio. Para solucionar el problema, elimínalos. Es así de simple.

Un bloqueo de rastreo en robots.txt también podría ser el culpable de que Google no esté indexando una página web en particular. Para comprobar si este es el caso, pega la URL en la herramienta de inspección de URLs en Google Search Console. Haz clic en el bloque de Cobertura para obtener más detalles, y a continuación, busca el error de “¿Se permite el rastreo? No: bloqueado por un error de robots.txt”.

Esto indica que la página está bloqueada en robots.txt.

Si ese es el caso, vuelve a revisar el archivo robots.txt y busca cualquier regla de “disallow” relacionada con la página o apartado correspondiente.

Elimina en donde sea necesario.

2) Quita las etiquetas noindex maliciosas

Google no indexará páginas si así se lo indicas. Esto es útil para mantener algunas páginas web en modo privado. Hay dos maneras de hacerlo:

Método 1: metaetiqueta

Las páginas con cualquiera de estas metaetiquetas en su sección  <head> no serán indexadas por Google:

<meta name=“robots” content=“noindex”>

<meta name=“googlebot” content=“noindex”>

Esta es una metaetiqueta robots, y le dice a los motores de búsqueda si pueden o no indexar la página.

Para encontrar todas las páginas con una metaetiqueta noindex en tu sitio, ejecuta un rastreo en Ahrefs’ Site Audit. Ve al informe
Indexability. Busca advertencias de “Noindex page”.

Haz clic para ver todas las páginas afectadas. Retira la metaetiqueta noindex de cualquier página en la que no deba de estar.

Método 2: X-Robots-Tag

Los rastreadores también respetan el encabezado de respuesta HTTP X-Robots-Tag. Puedes implementar esto usando un lenguaje de script del lado del servidor como PHP, o en tu archivo .htaccess, o cambiando la configuración de tu servidor.

La herramienta de inspección de URLs en Search Console te indica si Google está bloqueado para rastrear una página por este este encabezado. Sólo tienes que introducir la URL y después buscar “¿Se permite la indexación? No: ‘noindex’ detectado en el encabezado http ‘X-Robots-Tag’ ”

Si deseas comprobar este problema a lo largo de tu sitio, ejecuta un rastreo con Ahrefs´s Site Audit Tool (Auditoría del Sitio), enseguida utiliza el filtro “Robots information in HTTP header” (“Información de los robots en la cabecera HTTP”) en Page Explorer:

Pide a tu desarrollador que impida que las páginas que deseas indexar muestren esta cabecera.

Lectura recomendada: El Uso de las Especificaciones del Encabezado HTTP X-Robots-Tag en el SEO: Consejos y trucos 

3) Incluye tu página en tu sitemap

Un sitemap le dice a Google qué páginas de tu sitio son importantes y cuáles no. También puede dar alguna orientación sobre la frecuencia con que deben ser vueltas a rastrear.

Google debe ser capaz de encontrar las páginas de tu sitio web, independientemente de si están en tu sitemap, pero aun así es una buena práctica incluirlas. Después de todo, no hay razón para hacerle la vida difícil a Google.

Para comprobar si una página está en tu sitemap, utiliza la herramienta de inspección de URLs en Search Console. Si ves el error “la URL no está en Google” y “sitemap: N / A”, entonces no está en tu sitemap o indexada.

¿No usas Search Console? Dirígete a la URL de tu sitemap, por lo general, tudominio.com/sitemap.xml- y busca la página.

O bien, si deseas encontrar todas las páginas que se puedan rastrear e indexar y que no están en tu sitemap, ejecuta un rastreo en Ahrefs’ Site Audit. Ve a Page Explorer y aplica estos filtros:

Estas páginas deberían estar en tu sitemap, así que añádelas. Una vez hecho esto, avísale a Google que has actualizado tu sitemap haciendo ping a esta URL:

http://www.google.com/ping?sitemap=<URL_completa_de_sitemap>

Reemplaza la última parte con la URL del sitemap. Enseguida deberías ver algo como esto:

Eso debería acelerar la indexación de la página en Google.

4) Retira las etiquetas canónicas maliciosas

Una etiqueta canónica le dice a Google cuál es la versión preferida de una página. Se ve algo como esto:

<link rel=“canonical” href=“/page.html”/>

La mayoría de las páginas o no tienen ninguna etiqueta canónica, o lo que se llama una etiqueta canónica de autorreferencia. Eso le dice a Google que la página en sí es la preferida y, probablemente, la única versión. En otras palabras, tú quieres que esta página sea indexada.

Pero si tu página tiene una etiqueta canónica maliciosa, entonces podría estarle diciendo a Google acerca de una versión preferida de esta página que no existe. En cuyo caso, tu página no se indexará.

Para comprobar si hay una canónica, utiliza la herramienta de inspección de URLs de Google. Verás una advertencia de “página alternativa con etiqueta canónica” si la canónica apunta a otra página.

Si esto no debiera estar allí, y deseas indexar la página, retira la etiqueta canónica.

Si quieres una forma rápida de encontrar las etiquetas canónicas maliciosas a lo largo de todo tu sitio, ejecuta un rastreo en Ahrefs’ Audit Tool. Ve a Page Explorer. Usa estos ajustes:

Esto busca las páginas en tu sitemap con etiquetas canónicas de no autorreferencia. Debido a que es casi seguro que deseas indexar las páginas en tu sitemap, deberías investigar más a fondo si es que este filtro devuelve algún resultado.

Es muy probable que estas páginas tengan, o bien una canónica maliciosa, o no deberían estar en tu sitemap en primer lugar.

5) Comprueba que la página no esté huérfana

Las páginas huérfanas son las que no tienen enlaces internos que apuntan hacia ellas.

Debido a que Google descubre nuevos contenidos rastreando la web, son incapaces de descubrir páginas huérfanas a través de ese proceso. Los visitantes del sitio web no serán capaces de encontrarlas tampoco.

Para comprobar si hay páginas huérfanas, rastrea tu sitio con Ahrefs’ Site Audit. A continuación, revisa en el Reporte de Incoming Links (enlaces entrantes) los errores de “Orphan page (has no incoming internal links)”:

Esto muestra todas las páginas que son indexables y están presentes en tu sitemap y que, sin embargo, no tienen vínculos internos que apuntan hacia ellas.

¿No estás seguro de que todas las páginas que deseas sean indexadas están en tu sitemap? Prueba esto:

1. Descarga una lista completa de las páginas de tu sitio (a través de tu CMS)
2. Rastrea tu sitio web (usando una herramienta como Ahrefs’ Site Audit)
3. Haz una referencia cruzada de las dos listas de URLs.

Cualquier URL no encontrada durante el rastreo es una página huérfana.

Puedes corregir páginas huérfanas en una de dos maneras:

1. Si la página no es importante, elimínala y remuévela de tu sitemap.
2. Si la página es importante, añádela a la estructura de enlaces internos de tu sitio web.

6) Arregla los enlaces internos nofollow

Los enlaces nofollow son enlaces con una etiqueta rel = “nofollow”. Evitan la transferencia de PageRank a la URL de destino. Además, Google tampoco rastrea los enlaces nofollow.

Aquí está lo que dice Google sobre el asunto:

En esencia, el uso de nofollow nos hace abandonar los enlaces objetivo de nuestra gráfica general de la web. Sin embargo, estas páginas objetivo todavía pueden aparecer en nuestro índice si otros sitios enlazan a ellas sin utilizar nofollow, o si las URL se envían a Google en un Sitemap.

En resumen, debes asegurarte de que todos los enlaces internos a páginas indexables sean seguidos.

Para hacer esto, utiliza la herramienta de Ahref´s Site Audit para rastrear tu sitio. Verifica en el Reporte de Links las páginas indexables con el error “Page has no follow incoming internal links only” (“La página tiene solamente enlaces internos entrantes no follow”):

Retira la etiqueta nofollow de estos enlaces internos, asumiendo que deseas que Google indexe la página. Si no es así, elimina la página o agrega un no index.

Lectura recomendada: ¿Qué es un Enlace Nofollow? Todo lo que necesitas saber (¡Sin jerga!)

7) Añade enlaces internos “poderosos”

Google descubre nuevos contenidos mediante el rastreo de tu sitio web. Si olvidas enlazar internamente la página en cuestión, entonces podría no ser capaz de encontrarla.

Una solución fácil a este problema es añadir algunos enlaces internos a la página. Puedes hacer esto desde cualquier otra página web que Google pueda rastrear e indexar. Sin embargo, si deseas que Google indexe la página lo más rápido posible, tiene sentido hacerlo desde una de tus páginas más “poderosas”.

¿Por qué? Porque es más probable que Google vuelva a rastrear estas páginas más rápidamente que las páginas menos importantes.

Para ello, dirígete a Ahref´s Site Explorer, introduce tu dominio, a continuación, visita el reporte Mejor por enlaces.

Esto muestra todas las páginas de tu sitio web ordenados de acuerdo al Rating de cada URL (UR). En otras palabras, muestra las páginas de mayor autoridad primero.

Revisa esta lista y busca páginas relevantes desde las cuales puedas añadir enlaces internos hacia la página en cuestión.

Por ejemplo, si estuviéramos buscando agregar un enlace interno a nuestra Guía de guest posting, nuestra Guía de link building probablemente ofrecería un lugar relevante desde el cual hacerlo. Y sucede que esa página es la 11va con mayor autoridad en nuestro blog:

Google entonces verá y seguirá ese enlace la próxima vez que vuelva a rastrear la página.

8) Asegúrate de que la página es valiosa y única

Es poco probable que Google indexe las páginas de baja calidad porque no tienen ningún valor para sus usuarios. Esto es lo que dijo en 2018 John Mueller de Google sobre la indexación:

Nunca indexamos todas las URLs conocidas, ’ eso es bastante normal. ’ Yo me enfocaría en hacer el sitio impresionante e inspirador, entonces las cosas suelen funcionar mejor.

— 🍌 John 🍌 (@JohnMu) January 3, 2018

Soy yo: y cuál podría ser la razón para no estar indexado? Esas URLs están en los sitemaps, con “index, follow” y enlazadas internamente.

John Mueller: Nunca indexamos todas las URLs conocidas, eso es bastante normal. Yo me enfocaría en hacer el sitio impresionante e inspirador, entonces las cosas suelen funcionar mejor.

Da a entender que si quieres que Google indexe tu sitio web o página web, tiene que ser “impresionante e inspiradora.”

Si has descartado problemas técnicos para la falta de indexación, entonces una falta de valor podría ser la culpable. Por esa razón, vale la pena revisar la página con nuevos ojos y preguntarse: ¿Esta página es genuinamente valiosa? ¿Un usuario encontraría valor en esta página si hiciera clic tras hallarla en los resultados de búsqueda?

Si la respuesta es no a cualquiera de estas preguntas, entonces necesitas mejorar tu contenido.

Puedes encontrar más páginas que pueden ser de baja calidad y que no están indexadas usando la herramienta Ahrefs’ Site Audit y URL Profiler. Para ello, ve a Page Explorer en Ahref´s Site Audit y utiliza estos ajustes:

Esto devolverá páginas “thin” (“delgadas”) que son indexables y que actualmente no obtienen tráfico orgánico. En otras palabras, hay una buena posibilidad de que no estén indexadas.

Exporta el informe, después pega todas las URLs en URL Profiler y realiza una verificación de Indexación de Google.

Revisa cualquier página que no esté indexada por problemas de calidad. Mejora donde sea necesario, y enseguida solicita la reindexación en Google Search Console.

También deberías buscar solucionar los problemas de contenido duplicado. No es probable que Google indexe páginas duplicadas o casi duplicadas. Utiliza el informe de Duplicate Content (Contenido duplicado) en Site Audit para verificar estos problemas.

9) Elimina las páginas de baja calidad (para optimizar el “presupuesto de rastreo”)

Tener demasiadas páginas de baja calidad en tu sitio web sólo sirve para desperdiciar el presupuesto de rastreo (crawl budget).

Esto es lo que dice Google sobre este tema:

Desperdiciar recursos del servidor en [páginas-de-bajo-valor-agregado] drenará la actividad de rastreo de las páginas que realmente tienen valor, lo que puede causar un retraso significativo en el descubrimiento de gran contenido en un sitio.

Piensa en ello como un maestro calificando ensayos, uno de los cuales es el tuyo. Si tienen diez ensayos por calificar, van a llegar al tuyo con bastante rapidez. Si tienen un centenar, les tomará un poco más de tiempo. Si tienen miles, su carga de trabajo es demasiado alta, y tal vez nunca lleguen a revisar tu ensayo.

Google declara que el “presupuesto de rastreo […] no es algo de lo que la mayoría de los editores tenga que preocuparse”, y que “si un sitio tiene menos de unos pocos de miles de URLs, la mayor parte del tiempo se va a rastrear eficientemente.”

Aun así, la eliminación de páginas de baja calidad de su sitio web nunca es algo malo. Sólo puede tener un efecto positivo sobre el presupuesto de rastreo.

Puedes usar nuestra plantilla de auditoría de contenido para encontrar páginas potencialmente de baja calidad e irrelevantes que se pueden eliminar.

10) Construye backlinks de alta calidad

Los Backlinks le dicen a Google que una página web es importante. Después de todo, si alguien la está enlazando, entonces debe tener algún valor. Estas son páginas que Google quiere indexar.

Para una total transparencia, Google no sólo indexa páginas web con backlinks. Hay muchas (mil millones) páginas indexadas que no tienen enlaces entrantes. Sin embargo, debido a que Google ve a las páginas con enlaces de alta calidad como más importantes, es probable que rastreen - y re-rastreen- dichas páginas más rápido que las que no. Esto conlleva a una indexación más rápida.

Tenemos un montón de recursos sobre la construcción de backlinks de alta calidad en el blog.

Echa un vistazo a algunas de las guías de abajo.

Indexación ≠ posicionamiento

Tener tu sitio web o página web indexadas en Google no es equiparable al posicionamiento o tráfico.

Son dos cosas diferentes.

La indexación significa que Google está al tanto de tu sitio web. Esto no quiere decir que lo vayan a posicionar para cualquier consulta relevante y útil.

Ahí es donde entra en juego el SEO- el arte de la optimización de tus páginas web para posicionarte en consultas específicas.

En pocas palabras, el SEO implica:

• Identificar lo que tus clientes están buscando;
• La creación de contenido en torno a esos temas;
• La optimización de esas páginas para tus palabras clave objetivo;
• La construcción de backlinks;
• Republicar regularmente contenido para mantenerlo “siempre verde”.

Aquí tienes un video para que puedas iniciarte en el SEO:

https://www.youtube.com/watch?v=V_bmV3lamsA

… y algunos artículos:

Reflexiones Finales

Sólo hay dos posibles razones por las que Google no indexa tu sitio web o página web:

1. Cuestiones técnicas les están impidiendo hacerlo
2. Ellos ven tu sitio o página como de baja calidad y sin valor alguno para sus usuarios.

Es totalmente posible que estas dos razones se den. Sin embargo, yo diría que las cuestiones técnicas son mucho más comunes. Las cuestiones técnicas también pueden conducir a la generación automática de contenido indexable de baja calidad (por ejemplo, problemas con la navegación facetada). Eso no es bueno.

Aun así, al llevar a cabo el checklist anterior se debe resolver el problema de indexación en nueve de cada diez veces.

Sólo recuerda que la indexación ≠ posicionamiento. El SEO sigue siendo vital si deseas posicionarte para cualquier consulta de búsqueda que valga la pena y atraer un flujo constante de tráfico orgánico.

Tra­duci­do por Prime Web Méx­i­co. Lle­ga a nuevos clientes todos los días con tu sitio web.