{"id":2453,"date":"2019-12-29T07:06:00","date_gmt":"2019-12-29T15:06:00","guid":{"rendered":"https:\/\/ahrefs.com\/blog\/es\/?p=2453"},"modified":"2023-05-15T02:52:16","modified_gmt":"2023-05-15T10:52:16","slug":"robots-txt","status":"publish","type":"post","link":"https:\/\/ahrefs.com\/blog\/es\/robots-txt\/","title":{"rendered":"Robots.txt y SEO: todo lo que necesitas saber"},"content":{"rendered":"<div class=\"intro-txt\">Robots.txt es uno de los archivos m\u00e1s simples de un sitio web pero tambi\u00e9n uno de los m\u00e1s f\u00e1ciles de arruinar. S\u00f3lo un error de tipeo puede causar estragos en tu SEO y evitar que los motores de b\u00fasqueda accedan al contenido importante en tu&nbsp;sitio.<\/div>\n<p>Esta es la raz\u00f3n por la que los errores de configuraci\u00f3n de robots.txt son extremadamente comunes, incluso entre los profesionales SEO con experiencia.<\/p>\n<p>En esta gu\u00eda aprender\u00e1s:<\/p>\n<ul>\n<li><a href=\"#what-is-robots-txt\">Qu\u00e9 es un archivo robots.txt<\/a><\/li>\n<li><a href=\"#what-does-robots-txt-look-like\">C\u00f3mo se ve un archivo robots.txt<\/a><\/li>\n<li><a href=\"#user-agents-directives\">User-agents y directivas para robots.txt<\/a><\/li>\n<li><a href=\"#do-you-need-robots-txt\">Si necesitas un archivo robots.txt o&nbsp;no<\/a><\/li>\n<li><a href=\"#how-to-find-robots-txt\">C\u00f3mo encontrar tu archivo robots.txt<\/a><\/li>\n<li><a href=\"#how-to-create-robots-txt\">C\u00f3mo crear un archivo robots.txt<\/a><\/li>\n<li><a href=\"#robots-txt-best-practices\">Las mejores pr\u00e1cticas del archivo robots.txt<\/a><\/li>\n<li><a href=\"#example-robots-txt\">Ejemplo de archivos robots.txt<\/a><\/li>\n<li><a href=\"#robots-txt-errors\">C\u00f3mo auditar tu archivo robots.txt <\/a><\/li>\n<\/ul>\n<h2 id=\"what-is-robots-txt\">\u00bfQu\u00e9 es un archivo robots.txt?<\/h2>\n<p>Un archivo robots.txt le dice a los motores de b\u00fasqueda por d\u00f3nde pueden y por donde no pueden ir dentro de tu&nbsp;sitio.<\/p>\n<p>En primer lugar, enumera todo el contenido que deseas bloquear de los motores de b\u00fasqueda como Google. Tambi\u00e9n le puedes indicar a algunos motores de b\u00fasqueda (no a Google)<em> c\u00f3mo<\/em> pueden rastrear el contenido accesible.<\/p>\n<div class=\"recommendation\"><div class=\"recommendation-title\">nota importante<\/div><div class=\"recommendation-content\">\n<p>La mayor\u00eda de los motores de b\u00fasqueda son obedientes. No tienen el h\u00e1bito de ignorar una restricci\u00f3n. Dicho esto, algunos no son t\u00edmidos a la hora de obviar dichas restricciones.<\/p>\n<p>Google no es uno de esos motores de b\u00fasqueda, obedece las instrucciones de un archivo robots.txt.<\/p>\n<p>S\u00f3lo tienes que saber que algunos motores de b\u00fasqueda lo ignoran por completo.<\/p>\n<\/div><\/div>\n<h2 id=\"what-does-robots-txt-look-like\">\u00bfC\u00f3mo se ve un archivo robots.txt?<\/h2>\n<p>Este es el formato b\u00e1sico de un archivo robots.txt:<\/p>\n<pre>Sitemap: [URL ubicaci\u00f3n de sitemap]\n\nUser-agent: [identificador de bot]\n[directiva 1] \n[directiva 2]\n[directiva ...]\n\nUser-agent: [otro identificador de bot]\n[directiva 1]\n[directiva 2]\n[directiva ...]<\/pre>\n<p>Si nunca has visto uno de estos archivos antes puede parecer desalentador. Sin embargo, la sintaxis es bastante simple. En resumen, tienes que asignar reglas a los robots indicando su <em>user-agent<\/em> seguido de las <em>directivas<\/em>.<\/p>\n<p>Exploremos estos dos componentes con m\u00e1s detalle.<\/p>\n<h2 id=\"user-agents-directives\">User-agents<\/h2>\n<p>Cada motor de b\u00fasqueda se identifica con un user-agent diferente. Puedes establecer instrucciones personalizadas para cada uno de ellos en el archivo robots.txt. Hay <a href=\"http:\/\/www.user-agents.org\/\" target=\"_blank\" rel=\"noopener noreferrer\">cientos de user-agents<\/a>, pero aqu\u00ed hay algunos \u00fatiles en relaci\u00f3n al&nbsp;SEO:<\/p>\n<ul>\n<li><strong>Google: <\/strong>Googlebot<\/li>\n<li><strong>Google Images:<\/strong> Googlebot-Image<\/li>\n<li><strong>Bing: <\/strong>Bingbot<\/li>\n<li><strong>Yahoo: <\/strong>Slurp<\/li>\n<li><strong>Baidu<\/strong>: Baiduspider<\/li>\n<li><strong>DuckDuckGo:<\/strong> DuckDuckBot<\/li>\n<\/ul>\n<div class=\"sidenote\"><div class=\"sidenote-title\">Nota al margen.<\/div> Todos los user-agents distinguen entre may\u00fasculas y min\u00fasculas en robots.txt. <\/div>\n<p>Tambi\u00e9n puedes utilizar el asterisco (*) para asignar directivas a todos los user-agents.<\/p>\n<p>Por ejemplo, supongamos que deseas bloquear todos los bots excepto Googlebot para que no rastree tu sitio. As\u00ed es como lo har\u00edas:<\/p>\n<pre>User-agent: *\nDisallow: \/\nUser-agent: Googlebot\nAllow: \/<\/pre>\n<p>Tienes que saber que tu archivo robots.txt puede incluir directivas para tantos user-agents como desees. Dicho esto, cada vez que declares un nuevo user-agent, \u00e9ste ignorar\u00e1 las directivas declaradas anteriormente para otros user-agents. En otras palabras, si a\u00f1ades directivas para m\u00faltiples user-agents, las directivas declaradas para el primer user-agent no se aplicar\u00e1n al segundo, o al tercero, o al cuarto, y as\u00ed sucesivamente.<\/p>\n<p>La excepci\u00f3n a esta regla es cuando se declara el mismo user-agent m\u00e1s de una vez. En ese caso, se combinan y se cumplen todas las directivas pertinentes.<\/p>\n<div class=\"recommendation\"><div class=\"recommendation-title\">NOTA IMPORTANTE<\/div><div class=\"recommendation-content\">\n<p>Los rastreadores s\u00f3lo siguen las reglas declaradas bajo el (los) user-agent(s) que <strong>se se aplican a ellos de la forma m\u00e1s espec\u00edfica posible<\/strong>. Es por eso que el archivo robots.txt bloquea a todos los bots excepto a Googlebot (y a otros robots de Google) para que no puedan rastrear el sitio, Googlebot ignora la declaraci\u00f3n de user-agent menos espec\u00edfica.<\/p>\n<\/div><\/div>\n<h2 id=\"h.n4jg98bc59z\">Directivas<\/h2>\n<p>Las directivas son las reglas que quieres que los user-agents declarados sigan.<\/p>\n<h3 id=\"h.e9kpuly4g0mq\">Directivas admitidas<\/h3>\n<p>Aqu\u00ed est\u00e1n las directivas que Google admite actualmente, junto con sus&nbsp;usos.<\/p>\n<h4 id=\"h.xeq6vut3hh39\">Disallow<\/h4>\n<p>Utiliza esta directiva para indicar a los motores de b\u00fasqueda que no accedan a archivos y p\u00e1ginas que se encuentren bajo una ruta espec\u00edfica. Por ejemplo, si deseas bloquear el acceso de todos los motores de b\u00fasqueda a tu blog y a todos sus mensajes, el archivo robots.txt puede verse&nbsp;as\u00ed:<\/p>\n<pre>User-agent: *\nDisallow: \/blog\n<\/pre>\n<div class=\"sidenote\"><div class=\"sidenote-title\">Nota al margen.<\/div> Si no defines una ruta despu\u00e9s de la directiva disallow, los motores de b\u00fasqueda la ignorar\u00e1n.&nbsp;<\/div>\n<h4 id=\"h.u53y90qh3toz\">Allow<\/h4>\n<p>Utiliza esta directiva para permitir a los motores de b\u00fasqueda rastrear un subdirectorio o una p\u00e1gina, incluso en un directorio que de otro modo no estar\u00eda permitido. Por ejemplo, si deseas evitar que los motores de b\u00fasqueda accedan a todas las entradas de tu blog excepto a una, el archivo robots.txt puede tener este aspecto:<\/p>\n<pre>User-agent: *\nDisallow: \/blog\nAllow: \/blog\/post-permitido<\/pre>\n<p>En este ejemplo, los motores de b\u00fasqueda pueden acceder a: <code>\/blog\/post-permitido<\/code>. Pero no pueden acceder a:<\/p>\n<p><code>\/blog\/otro-post<\/code><\/p>\n<p><code>\/blog\/y-otro-post<\/code><\/p>\n<p><code>\/blog\/descarga.pdf<\/code><\/p>\n<p>Tanto Google como Bing admiten esta directiva.<\/p>\n<div class=\"sidenote\"><div class=\"sidenote-title\">Nota al margen.<\/div> Al igual que con la directiva disallow, si no defines una ruta despu\u00e9s de la directiva allow, los motores de b\u00fasqueda la ignorar\u00e1n.&nbsp;<\/div>\n<div class=\"recommendation\"><div class=\"recommendation-title\">nota sobre reglas conflictivas<\/div><div class=\"recommendation-content\">\n<p>A menos que seas cuidadoso, las directivas allow y disallow pueden f\u00e1cilmente entrar en conflicto entre s\u00ed. En el siguiente ejemplo no se le permite el acceso a <code>\/blog\/<\/code> y se permite el acceso a <code>\/blog<\/code>.<\/p>\n<pre>User-agent: *\n\nDisallow: \/blog\/\n\nAllow: \/blog<\/pre>\n<p>En este caso, la URL<code>\/blog\/post-title\/<\/code> parece tener ambas directivas. Entonces \u00bfcu\u00e1l&nbsp;gana?<\/p>\n<p>Para Google y Bing, la regla es que gana la directiva con m\u00e1s caracteres. Esa es la directiva disallow.<\/p>\n<p><code>Disallow: \/blog\/<\/code> <em>(6 caracteres)<\/em><\/p>\n<p><code>Allow: \/blog<\/code> <em>(5 caracteres)<\/em><\/p>\n<p>Si las directivas allow y disallow tienen la misma longitud, entonces gana la directiva menos restrictiva. En este caso, esa ser\u00eda la directiva allow.<\/p>\n<div class=\"sidenote\"><div class=\"sidenote-title\">Nota al margen.<\/div> Aqu\u00ed, <code>\/blog<\/code> (sin la barra) sigue siendo accesible y rastreable.&nbsp;<\/div>\n<p>Es importante mencionar que <strong>esto s\u00f3lo aplica para el caso de Google y Bing<\/strong>. Otros motores de b\u00fasqueda obedecen a la primera directiva coincidente. En este caso ser\u00eda disallow.<\/p>\n<\/div><\/div>\n<h4 id=\"h.bcoscz7v58m1\">Sitemap<\/h4>\n<p>Utiliza esta directiva para especificar la ubicaci\u00f3n de tu(s) sitemap(s) en los motores de b\u00fasqueda. Si no est\u00e1s familiarizado con los sitemaps, generalmente incluyen las p\u00e1ginas que deseas que los motores de b\u00fasqueda rastreen e indexen.<\/p>\n<p>A continuaci\u00f3n se muestra un ejemplo de un archivo robots.txt que utiliza la directiva sitemap:<\/p>\n<pre>Sitemap: https:\/\/www.dominio.com\/sitemap.xml\n\nUser-agent: *\nDisallow: \/blog\/\nAllow: \/blog\/titulo-post\/<\/pre>\n<p>\u00bfQu\u00e9 importancia tiene incluir tu(s) sitemap(s) en tu archivo robots.txt? Si ya lo has enviado a trav\u00e9s de Search Console entonces es algo redundante para Google. Sin embargo, le dicen a otros motores de b\u00fasqueda como Bing d\u00f3nde encontrar tu sitemap, por lo que sigue siendo una buena pr\u00e1ctica.<\/p>\n<p>Ten en cuenta que no es necesario repetir la directiva sitemap varias veces para cada user-agent, \u00e9ste aplica para todos. Por lo tanto, lo mejor es incluir las directivas del sitemap al principio o al final del archivo robots.txt. Por ejemplo:<\/p>\n<pre>Sitemap: https:\/\/www.dominio.com\/sitemap.xml\n\nUser-agent: Googlebot\nDisallow: \/blog\/\nAllow: \/blog\/titulo-post\/\n\nUser-agent: Bingbot\nDisallow: \/servicios\/<\/pre>\n<p>Google <a href=\"https:\/\/developers.google.com\/search\/reference\/robots_txt\" target=\"_blank\" rel=\"noopener noreferrer\">admite<\/a> la directiva sitemap, as\u00ed como Ask, Bing, y&nbsp;Yahoo.<\/p>\n<div class=\"sidenote\"><div class=\"sidenote-title\">Nota al margen.<\/div> Puedes incluir tantos sitemaps como desees en tu archivo robots.txt. <\/div>\n<h3 id=\"h.iw9jdhsx9lph\">Directivas no admitidas<\/h3>\n<p>Estas son las directivas que <a href=\"https:\/\/webmasters.googleblog.com\/2019\/07\/a-note-on-unsupported-rules-in-robotstxt.html\" target=\"_blank\" rel=\"noopener noreferrer\">ya no son admitidas por Google<\/a>\u2014algunas de las cuales nunca lo fueron, t\u00e9cnicamente.<\/p>\n<h4 id=\"h.nh0j3m4oqdg5\">Crawl-delay<\/h4>\n<p>Anteriormente pod\u00edas utilizar esta directiva para especificar un retardo del rastreo en segundos. Por ejemplo, si quisieras que Googlebot espere 5 segundos despu\u00e9s de cada acci\u00f3n de rastreo, deb\u00edas establecer el retardo de rastreo en&nbsp;5:<\/p>\n<pre>User-agent: Googlebot\nCrawl-delay: 5<\/pre>\n<p>Google ya no admite esta directiva pero <a href=\"https:\/\/blogs.bing.com\/webmaster\/2012\/05\/03\/to-crawl-or-not-to-crawl-that-is-bingbots-question\/\" target=\"_blank\" rel=\"noopener noreferrer\">Bing<\/a> y <a href=\"https:\/\/yandex.com\/support\/webmaster\/controlling-robot\/robots-txt.html#crawl-delay\" target=\"_blank\" rel=\"noopener noreferrer\">Yandex<\/a> s\u00ed.<\/p>\n<p>Dicho esto, ten cuidado al establecer esta directiva, especialmente si tienes un sitio grande. Si estableces un retardo de rastreo de 5 segundos, entonces estar\u00e1s limitando a los bots a rastrear un m\u00e1ximo de 17.280 URLs al d\u00eda. Eso no es muy \u00fatil si tienes millones de p\u00e1ginas, pero podr\u00eda ahorrar ancho de banda si tienes un sitio web peque\u00f1o.<\/p>\n<h4 id=\"h.adsbtb5ez6n8\">Noindex<\/h4>\n<p>Esta directiva nunca fue apoyada oficialmente por Google. Sin embargo, hasta hace poco, se pensaba que Google ten\u00eda alg\u00fan \u201cc\u00f3digo que maneja reglas no admitidas y no publicadas (como el noindex)\u201d. As\u00ed que si quieres evitar que Google indexe todas las entradas de tu blog, puedes usar la siguiente directiva:<\/p>\n<pre>User-agent: Googlebot\nNoindex: \/blog\/<\/pre>\n<p>Sin embargo, el 1 de septiembre de 2019, Google dej\u00f3 claro que<strong> esta directiva no est\u00e1 admitida<\/strong>. Si deseas excluir una p\u00e1gina o un archivo de los motores de b\u00fasqueda, utiliza en su lugar la etiqueta meta robots o el encabezado HTTP x-robots.<\/p>\n<h4 id=\"h.8cnsyktzcwz2\">Nofollow<\/h4>\n<p>Esta es otra directiva que Google nunca apoy\u00f3 oficialmente y fue usada para indicar a los motores de b\u00fasqueda que no siguieran enlaces en p\u00e1ginas y archivos bajo una ruta espec\u00edfica. Por ejemplo, si quieres evitar que Google siga todos los enlaces de tu blog, puedes utilizar la siguiente directiva:<\/p>\n<pre>User-agent: Googlebot\nNofollow: \/blog\/<\/pre>\n<p>Google anunci\u00f3 que esta directiva no tiene soporte oficial desde el 1 de septiembre de 2019. Si deseas no seguir todos los enlaces de una p\u00e1gina ahora, debes utilizar la meta tag robots o el encabezado x-robots. Si deseas indicar a Google que no siga enlaces espec\u00edficos de una p\u00e1gina, utiliza el atributo de enlace rel=\u201cnofollow\u201d.<\/p>\n<h2 id=\"do-you-need-robots-txt\">\u00bfNecesit\u00e1s un archivo robots.txt?<\/h2>\n<p>Tener un archivo robots.txt no es crucial para muchos sitios web, especialmente para los m\u00e1s peque\u00f1os.<\/p>\n<p>Dicho esto, no hay ninguna buena raz\u00f3n para no tener uno. Te dar\u00e1 m\u00e1s control sobre d\u00f3nde los motores de b\u00fasqueda pueden y no pueden entrar en tu sitio web, y esto podr\u00eda ayudarte con cosas&nbsp;como:<\/p>\n<ul>\n<li>Prevenir el rastreo de <a href=\"https:\/\/ahrefs.com\/blog\/duplicate-content\/\" data-ahr=\"https:\/\/ahrefs.com\/blog\/es\/duplicate-content\/\">contenido duplicado<\/a>;<\/li>\n<li>Mantener secciones de un sitio web como privadas (por ejemplo, tu sitio de pruebas);<\/li>\n<li>Prevenir el rastreo de p\u00e1ginas de resultados de b\u00fasqueda interna;<\/li>\n<li>Prevenir la sobrecarga del servidor;<\/li>\n<li>Prevenir que Google desperdicie su \u201c<a href=\"https:\/\/webmasters.googleblog.com\/2017\/01\/what-crawl-budget-means-for-googlebot.html\" target=\"_blank\" rel=\"noopener noreferrer\">crawl budget<\/a>.\u201d<\/li>\n<li>Prevenir que <a href=\"https:\/\/support.google.com\/webmasters\/answer\/35308\" target=\"_blank\" rel=\"noopener noreferrer\">im\u00e1genes<\/a>, <a href=\"https:\/\/support.google.com\/webmasters\/answer\/156442#block_video\" target=\"_blank\" rel=\"noopener noreferrer\">videos<\/a>, y archivos de recursos aparezcan en los resultados de b\u00fasqueda de Google.<\/li>\n<\/ul>\n<p>Ten en cuenta que aunque Google no suele indexar las p\u00e1ginas web que est\u00e1n bloqueadas por robots.txt,<strong> no hay forma de garantizar la exclusi\u00f3n en los resultados de b\u00fasqueda mediante el archivo robots.txt<\/strong>.<\/p>\n<p>Como <a href=\"https:\/\/support.google.com\/webmasters\/answer\/6062608?hl=en\" target=\"_blank\" rel=\"noopener noreferrer\">Google dice<\/a>, si el contenido est\u00e1 enlazado desde otros lugares en la web, puede llegar a aparecer en los resultados de b\u00fasqueda de Google.<\/p>\n<h2 id=\"how-to-find-robots-txt\">C\u00f3mo encontrar tu archivo robots.txt<\/h2>\n<p>Si ya tienes un archivo robots.txt en tu sitio web, podr\u00e1s acceder a \u00e9l mediante dominio.com\/robots.txt. Navega hasta la URL de tu navegador. Si ves algo como esto, entonces tienes un archivo robots.txt:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" width=\"249\" height=\"131\" class=\"wp-image-2451\" src=\"https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/ahrefs-robots.png\" alt=\"ahrefs robots\"><\/p>\n<h2 id=\"how-to-create-robots-txt\">C\u00f3mo crear un archivo robots.txt<\/h2>\n<p>Si a\u00fan no tienes un archivo robots.txt, crear uno es f\u00e1cil. Simplemente abre un documento .txt en blanco y comienza a escribir directivas. Por ejemplo, si deseas impedir que todos los motores de b\u00fasqueda rastreen tu directorio <code>\/admin\/<\/code> se deber\u00eda ver algo&nbsp;as\u00ed:<\/p>\n<pre>User-agent: *\nDisallow: \/admin\/<\/pre>\n<p>Contin\u00faa redactando las directivas hasta que est\u00e9s satisfecho con lo que tienes. Guarda tu archivo como \u201crobots.txt\u201d.<\/p>\n<p>Alternativamente, tambi\u00e9n puedes utilizar un generador robots.txt como <a href=\"http:\/\/tools.seobook.com\/robots-txt\/generator\/\" target=\"_blank\" rel=\"noopener noreferrer\">este<\/a>.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" width=\"722\" height=\"326\" class=\"wp-image-2449\" src=\"https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/robots-creator.png\" alt=\"robots creator\" srcset=\"https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/robots-creator.png 722w, https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/robots-creator-680x307.png 680w\" sizes=\"auto, (max-width: 722px) 100vw, 722px\"><\/p>\n<p>La ventaja de utilizar una herramienta como esta es que minimiza los errores de sintaxis. Esto es bueno porque un error podr\u00eda resultar en una cat\u00e1strofe SEO para tu sitio, por lo que vale la pena ir por el lado de la precauci\u00f3n.<\/p>\n<p>La desventaja es que son algo limitados en t\u00e9rminos de personalizaci\u00f3n.<\/p>\n<h2 id=\"h.yq1lrfsdiwne\">D\u00f3nde ubicar tu archivo robots.txt<\/h2>\n<p>Ubica el archivo robots.txt en el directorio ra\u00edz del subdominio al que se aplique. Por ejemplo, para controlar el comportamiento de rastreo en un<em> dominio.com<\/em>, el archivo robots.txt debe estar accesible en <em>dominio.com\/robots.txt<\/em>.<\/p>\n<p>Si deseas controlar la rastreabilidad en un subdominio como <em>blog.dominio.com<\/em>, el archivo robots.txt debe estar accesible en <em>blog.dominio.com\/robots.txt.<\/em><\/p>\n<h2 id=\"robots-txt-best-practices\">Buenas pr\u00e1cticas para el archivo robots.txt<\/h2>\n<p>Tenlos en cuenta para evitar errores comunes.<\/p>\n<h3 id=\"h.4ja7xjwvnmfu\">Usa una nueva l\u00ednea para cada directiva<\/h3>\n<p>Cada directiva deber\u00eda ir en una nueva l\u00ednea. De lo contrario confundir\u00e1 a los motores de b\u00fasqueda.<\/p>\n<p><strong>Incorrecto: <\/strong><\/p>\n<pre>User-agent: * Disallow: \/directorio\/ Disallow: \/otro-directorio\/<\/pre>\n<p><strong>Correcto: <\/strong><\/p>\n<pre>User-agent: *\nDisallow: \/directorio\/\nDisallow: \/otro-directorio\/<\/pre>\n<h3 id=\"h.rekrsx8vje7a\">Utiliza asteriscos para simplificar las instrucciones<\/h3>\n<p>No s\u00f3lo puedes usar asteriscos (*) para aplicar directivas a todos los user-agents sino tambi\u00e9n para que coincidan con los patrones de URL al declarar directivas. Por ejemplo, si deseas evitar que los motores de b\u00fasqueda accedan a las URLs de las categor\u00edas de productos parametrizadas en tu sitio, puedes enumerarlas de la siguiente manera:<\/p>\n<pre>User-agent: *\nDisallow: \/productos\/camisetas?\nDisallow: \/productos\/pantalones?\nDisallow: \/productos\/chaquetas?\n\n\u2026<\/pre>\n<p>Pero no es muy eficiente. Ser\u00eda mejor si simplific\u00e1ramos las cosas con un asterisco, de la siguiente manera:<\/p>\n<pre>User-agent: *\nDisallow: \/productos\/*?<\/pre>\n<p>Este ejemplo bloquea a los motores de b\u00fasqueda para que no rastreen todas las URLs bajo la subcarpeta \/productos\/ que contengan un signo de interrogaci\u00f3n. En otras palabras, cualquier URL parametrizada de la categor\u00eda \u201cproducto\u201d.<\/p>\n<h3 id=\"h.knb97megi2aa\">Usa \u201c$\u201d para especificar el final de una&nbsp;URL<\/h3>\n<p>Incluye el s\u00edmbolo \u201c$\u201d para marcar el final de una URL. Por ejemplo, si deseas evitar que los motores de b\u00fasqueda accedan a todos los archivos .pdf de tu sitio, el archivo robots.txt deber\u00eda verse&nbsp;as\u00ed:<\/p>\n<pre>User-agent: *\nDisallow: \/*.pdf$<\/pre>\n<p>En este ejemplo, los motores de b\u00fasqueda no pueden acceder a ninguna URL que termine en.pdf. Esto significa que no pueden acceder a \/archivo.pdf, pero pueden acceder a \/archivo.pdf?id=68937586 porque no termina con \u201c.pdf\u201d.<\/p>\n<h3 id=\"h.mlkkeqnd20fl\">Usa cada user-agent s\u00f3lo una&nbsp;vez<\/h3>\n<p>A Google no le importa si especificas el mismo user-agent varias veces. Simplemente combinar\u00e1 todas las reglas de las diversas declaraciones en una sola y las seguir\u00e1 todas. Por ejemplo, si tienes los siguientes user-agents y directivas en tu archivo robots.txt.\u2026<\/p>\n<pre>User-agent: Googlebot\nDisallow: \/a\/\n\nUser-agent: Googlebot\nDisallow: \/b\/<\/pre>\n<p>\u2026 Googlebot <strong>no dejar\u00eda de rastrear <\/strong>ninguna de las dos subcarpetas.<\/p>\n<p>Dicho esto, tiene sentido declarar a cada user-agent s\u00f3lo una vez porque es menos confuso. En otras palabras, es menos probable que cometas errores cr\u00edticos al mantener las cosas ordenadas y simples.<\/p>\n<h3 id=\"h.mokko59ndnz1\">S\u00e9 espec\u00edfico para evitar errores involuntarios<\/h3>\n<p>La falta de instrucciones espec\u00edficas a la hora de establecer directivas puede dar lugar a errores f\u00e1ciles que pueden tener un impacto catastr\u00f3fico en el SEO. Por ejemplo, supongamos que tienes un sitio multiling\u00fce y que est\u00e1s trabajando en una versi\u00f3n en alem\u00e1n que estar\u00e1 disponible en el subdirectorio \/de\/.<\/p>\n<p>Debido a que no est\u00e1 listo para funcionar, quieres evitar que los motores de b\u00fasqueda accedan a&nbsp;\u00e9l.<\/p>\n<p>El archivo robots.txt que se muestra a continuaci\u00f3n evitar\u00e1 que los motores de b\u00fasqueda accedan a esa subcarpeta y a todo lo que contiene:<\/p>\n<pre>User-agent: *\nDisallow: \/de<\/pre>\n<p>Pero tambi\u00e9n evitar\u00e1 que los motores de b\u00fasqueda rastreen p\u00e1ginas o archivos que empiecen con <code>\/de<\/code>.<\/p>\n<p>Por ejemplo:<\/p>\n<p><code>\/decoracion\/<\/code><\/p>\n<p><code>\/delivery-informacion.html<\/code><\/p>\n<p><code>\/depeche-mode\/camisetas\/<\/code><\/p>\n<p><code>\/definitivamente-no-para-ser-visto-en-publico.pdf<\/code><\/p>\n<p>En este caso, la soluci\u00f3n es simple: a\u00f1adir una&nbsp;barra.<\/p>\n<pre>User-agent: *\nDisallow: \/de\/<\/pre>\n<h3 id=\"h.oib4nu2jq9me\">Use comentarios para explicar tu archivo robots.txt a humanos<\/h3>\n<p>Los comentarios ayudan a explicar el archivo robots.txt a los desarrolladores, e incluso potencialmente a tu futuro yo. Para incluir un comentario, comienza la l\u00ednea con un numeral&nbsp;(#).<\/p>\n<p># Esto le indica a Bing que no rastree nuestro sitio.<\/p>\n<pre>User-agent: Bingbot\nDisallow: \/<\/pre>\n<p>Los rastreadores ignorar\u00e1n todo lo que haya en las l\u00edneas que empiecen con un numeral.<\/p>\n<h3 id=\"h.ab5s6cpcb58d\">Usa un archivo robots.txt separado para cada subdominio<\/h3>\n<p>Robots.txt s\u00f3lo controla el comportamiento de rastreo en el subdominio donde est\u00e9 alojado. Si deseas controlar el rastreo en un subdominio diferente, necesitar\u00e1s un archivo robots.txt separado.<\/p>\n<p>Por ejemplo, si tu sitio principal se encuentra en dominio.com y tu blog en blog.dominio.com, necesitar\u00e1s dos archivos robots.txt. Uno debe ir en el directorio ra\u00edz del dominio principal, y el otro en el directorio ra\u00edz del&nbsp;blog.<\/p>\n<h2 id=\"example-robots-txt\">Ejemplos de archivos robots.txt<\/h2>\n<p>A continuaci\u00f3n se muestran algunos ejemplos de archivos robots.txt. Estos son principalmente para inspirarse, pero si uno de ellos se ajusta a tus necesidades, c\u00f3pialo y p\u00e9galo en un documento de texto, gu\u00e1rdalo como \u201crobots.txt\u201d y c\u00e1rgalo en el directorio apropiado.<\/p>\n<h3 id=\"h.clh97uq0bj0u\">Acceso total para todos los&nbsp;bots<\/h3>\n<div class=\"sidenote\"><div class=\"sidenote-title\">Nota al margen.<\/div> Si no se declara una URL despu\u00e9s de una directiva, \u00e9sta se vuelve redundante. En otras palabras, los motores de b\u00fasqueda lo ignoran. Es por eso que esta directiva no tiene ning\u00fan efecto en el sitio; los motores de b\u00fasqueda todav\u00eda pueden rastrear todas las p\u00e1ginas y archivos.&nbsp;<\/div>\n<pre>User-agent: *\nDisallow:<\/pre>\n<h3 id=\"h.fgs8chz9cqba\">Sin acceso para todos los&nbsp;bots<\/h3>\n<pre>User-agent: *\nDisallow: \/<\/pre>\n<h3 id=\"h.9nrikxjznhp3\">Bloquear un subdirectorio para todos los&nbsp;bots<\/h3>\n<pre>User-agent: *\nDisallow: \/carpeta\/<\/pre>\n<h3 id=\"h.ady68csybqi9\">Bloquear un subdirectorio para todos los bots (con un archivo interno permitido)<\/h3>\n<pre>User-agent: *\nDisallow: \/carpeta\/\nAllow: \/carpeta\/pagina.html<\/pre>\n<h3 id=\"h.u5ts09d6bi3w\">Bloquear un archivo para todos los&nbsp;bots<\/h3>\n<pre>User-agent: *\nDisallow: \/esto-es-un-archivo.pdf<\/pre>\n<h3 id=\"h.hx12gnunsjfg\">Bloquear un tipo de archivo (PDF) para todos los&nbsp;bots<\/h3>\n<pre>User-agent: *\nDisallow: \/*.pdf$<\/pre>\n<h3 id=\"h.ytj6ejpwnyfr\">Bloquear todas las URLs parametrizadas s\u00f3lo para Googlebot<\/h3>\n<pre>User-agent: Googlebot\nDisallow: \/*?<\/pre>\n<h2 id=\"robots-txt-errors\">\u00bfC\u00f3mo auditar tu archivo robots.txt en busca de errores?<\/h2>\n<p>Los errores de robots.txt se pueden deslizar por la red con bastante facilidad, por lo que vale la pena estar atento a los problemas.<\/p>\n<p>Para hacerlo, busca regularmente cuestiones relacionadas al robots.txt en el reporte de \u201cCobertura\u201d de <a href=\"https:\/\/search.google.com\/search-console\/about\" target=\"_blank\" rel=\"noopener noreferrer\">Search Console<\/a>. Aqu\u00ed debajo tienes algunos de los errores que podr\u00edas ver, qu\u00e9 significan y c\u00f3mo podr\u00edas solucionarlos.<\/p>\n<div class=\"recommendation\"><div class=\"recommendation-title\">\u00bfNecesitas buscar errores en una p\u00e1gina determinada?<\/div><div class=\"recommendation-content\">\n<p>Pega la URL en la herramienta de inspecci\u00f3n de URLs de Google en Search Console. Si est\u00e1 bloqueado por robots.txt, deber\u00edas ver algo como&nbsp;esto:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" width=\"752\" height=\"370\" class=\"wp-image-2450\" src=\"https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/blocked-by-robots-txt.png\" alt=\"blocked by robots txt\" srcset=\"https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/blocked-by-robots-txt.png 752w, https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/blocked-by-robots-txt-680x335.png 680w\" sizes=\"auto, (max-width: 752px) 100vw, 752px\"><\/p>\n<\/div><\/div>\n<h3 id=\"h.pfvffx6czlpu\">URL presentada bloqueada por robots.txt<\/h3>\n<p><img loading=\"lazy\" decoding=\"async\" width=\"365\" height=\"101\" class=\"wp-image-2447\" src=\"https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/submitted-url-blocked-by-robots-1.png\" alt=\"submitted url blocked by robots 1\"><\/p>\n<p>Esto significa que al menos una de las URL de los sitemaps presentados est\u00e1 bloqueada por robots.txt.<\/p>\n<p>Si t\u00fa <a href=\"https:\/\/ahrefs.com\/blog\/es\/como-crear-un-sitemap\/\">creaste tu sitemap correctamente<\/a> y excluiste p\u00e1ginas <a href=\"https:\/\/ahrefs.com\/blog\/es\/etiquetas-canonical\/\">canonicalizadas<\/a>, noindexadas, y <a href=\"https:\/\/ahrefs.com\/blog\/es\/redirecciones-301\/\">redirigidas<\/a>, entonces <strong>ninguna p\u00e1gina presentada deber\u00eda ser bloqueada por robots.txt<\/strong>. Si es as\u00ed, investiga qu\u00e9 p\u00e1ginas est\u00e1n afectadas y a continuaci\u00f3n ajusta el archivo robots.txt en consecuencia para eliminar el bloqueo de esa p\u00e1gina.<\/p>\n<p>Puedes usar el <a href=\"https:\/\/support.google.com\/webmasters\/answer\/6062598?hl=en\" target=\"_blank\" rel=\"noopener noreferrer\">tester de robots.txt de Google<\/a> para ver qu\u00e9 directiva bloquea el contenido. S\u00f3lo ten cuidado al hacer esto, es f\u00e1cil cometer errores que afectan a otras p\u00e1ginas y archivos.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" width=\"734\" height=\"558\" class=\"wp-image-2446\" src=\"https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/robots-txt-tester.png\" alt=\"robots txt tester\" srcset=\"https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/robots-txt-tester.png 734w, https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/robots-txt-tester-559x425.png 559w\" sizes=\"auto, (max-width: 734px) 100vw, 734px\"><\/p>\n<h3 id=\"h.7ld4xnrz2ux8\">Bloqueado por robots.txt<\/h3>\n<p><img loading=\"lazy\" decoding=\"async\" width=\"355\" height=\"97\" class=\"wp-image-2452\" src=\"https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/blocked-by-robots-txt-1.png\" alt=\"blocked by robots txt 1\"><\/p>\n<p>Esto significa que tienes contenido bloqueado por robots.txt que no est\u00e1 indexado actualmente en Google.<\/p>\n<p>Si este contenido es importante y debe ser indexado, elimina el bloqueo de rastreo en robots.txt. Si has bloqueado contenido en robots.txt con la intenci\u00f3n de excluirlo del \u00edndice de Google, elimina el bloqueo y utiliza una meta etiqueta de robots o un encabezado x-robots. Esa es la \u00fanica manera de garantizar la exclusi\u00f3n de contenido del \u00edndice de Google.<\/p>\n<div class=\"sidenote\"><div class=\"sidenote-title\">Nota al margen.<\/div> Es fundamental eliminar el bloqueo de rastreo cuando se intenta excluir una p\u00e1gina de los resultados de la b\u00fasqueda. Si no lo haces, Google no ver\u00e1 la etiqueta noindex ni el encabezado HTTP, por lo que permanecer\u00e1 indexada.&nbsp;<\/div>\n<h3 id=\"h.ityx2fryl2nz\">Indexada, aunque bloqueada por robots.txt<\/h3>\n<p><img loading=\"lazy\" decoding=\"async\" width=\"379\" height=\"99\" class=\"wp-image-2448\" src=\"https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/indexed-though-blocked.png\" alt=\"indexed though blocked\"><\/p>\n<p>Esto significa que parte del contenido bloqueado por robots.txt sigue estando indexado en Google.<\/p>\n<p>Una vez m\u00e1s, si est\u00e1s intentando excluir este contenido de los resultados de b\u00fasqueda de Google, robots.txt no es la soluci\u00f3n correcta. Quita el bloqueo de rastreo y en su lugar utiliza una <a href=\"https:\/\/ahrefs.com\/blog\/meta-robots\/\" data-ahr=\"https:\/\/ahrefs.com\/blog\/es\/meta-robots\/\">meta etiqueta robots o encabezado HTTP x-robots<\/a> para prevenir la indexaci\u00f3n.<\/p>\n<p>Si has bloqueado este contenido por accidente y deseas mantenerlo en el \u00edndice de Google, elimina el bloqueo del rastreo en robots.txt. Esto puede ayudar a mejorar la visibilidad del contenido en la b\u00fasqueda de Google.<\/p>\n<h2 id=\"h.xxzee0aa057a\">FAQs<\/h2>\n<p>Aqu\u00ed est\u00e1n algunas de las preguntas m\u00e1s frecuentes que no encajaban de forma natural en otra parte de nuestra gu\u00eda: haznos saber en los comentarios si falta algo, y actualizaremos la secci\u00f3n en consecuencia.<\/p>\n<h3 id=\"h.c90q8sw2w1mv\">\u00bfCu\u00e1l es el tama\u00f1o m\u00e1ximo de un archivo robots.txt?<\/h3>\n<p><a href=\"https:\/\/developers.google.com\/search\/reference\/robots_txt\" target=\"_blank\" rel=\"noopener noreferrer\">500 kilobytes<\/a> (aproximadamente).<\/p>\n<h3 id=\"h.z8oryso7ogge\">\u00bfD\u00f3nde est\u00e1 robots.txt en WordPress?<\/h3>\n<p>En el mismo lugar: <em>dominio.com\/robots.txt<\/em>.<\/p>\n<h3 id=\"h.3z64vt89slrv\">\u00bfC\u00f3mo puedo editar robots.txt en WordPress?<\/h3>\n<p>De forma manual o utilizando <a href=\"https:\/\/ahrefs.com\/blog\/best-seo-plugins-for-wordpress\/\" data-ahr=\"https:\/\/ahrefs.com\/blog\/es\/best-seo-plugins-for-wordpress\/\">alguno de los muchos plugins SEO de WordPress<\/a> como Yoast que te permite editar robots.txt desde el backend de WordPress.<\/p>\n<h3 id=\"h.it6da41zwmqe\">\u00bfQu\u00e9 sucede si no permito el acceso a contenido no-indexado en robots.txt?<\/h3>\n<p>Google nunca ver\u00e1 la directiva noindex porque no puede rastrear la p\u00e1gina.<\/p>\n<blockquote class=\"twitter-tweet\">\n<p dir=\"ltr\" lang=\"en\">DYK blocking a page with both a robots.txt disallow &amp; a noindex in the page doesn\u2019t make much sense cos Googlebot can\u2019t \u201csee\u201d the noindex? <a href=\"https:\/\/t.co\/N4639rCCWt\">pic.twitter.com\/N4639rCCWt<\/a><\/p>\n<p>\u2014 Gary \u201c\u9be8\u7406\u201d Illyes (@methode) <a href=\"https:\/\/twitter.com\/methode\/status\/829952819373494272?ref_src=twsrc%5Etfw\">February 10,&nbsp;2017<\/a><\/p><\/blockquote>\n<p><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script><\/p>\n<p><em>\u201c\u00bfSab\u00edas que bloquear una p\u00e1gina con un robots.txt disallow y un noindex en la p\u00e1gina no tiene mucho sentido porque Googlebot no puede \u201cver\u201d el noindex?\u201d<\/em><\/p>\n<h2 id=\"h.u9832am3jnbt\">Conclusiones<\/h2>\n<p>Robots.txt es un archivo simple pero poderoso. Util\u00edzalo sabiamente, y puede tener un impacto positivo en el SEO. \u00dasalo al azar y, bueno, vivir\u00e1s para arrepentirte.<\/p>\n<p>\u00bfTienes m\u00e1s preguntas? Deja un comentario o <a href=\"https:\/\/twitter.com\/joshuachardwick?lang=en\" target=\"_blank\" rel=\"noopener noreferrer\">b\u00fascame en Twitter<\/a>.<\/p>\n<p><em>Tra\u00adduci\u00addo por <\/em><em><a href=\"https:\/\/agenciaeleven.com\/\" target=\"_blank\" rel=\"noopener noreferrer\">Agen\u00adcia Eleven<\/a><\/em><em>. Des\u00adde Argenti\u00adna, hace\u00admos que te encuentren.<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Esta es la raz\u00f3n por la que los errores de configuraci\u00f3n de robots.txt son extremadamente comunes, incluso entre los profesionales SEO con experiencia. En esta gu\u00eda aprender\u00e1s: Qu\u00e9 es un archivo robots.txt C\u00f3mo se ve un archivo robots.txt User-agents y<span class=\"ellipsis\">\u2026<\/span><\/p>\n<div class=\"read-more\">Leer m\u00e1s \u203a<\/div>\n<p><!-- end of .read-more --><\/p>\n","protected":false},"author":5,"featured_media":2456,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"wp_typography_post_enhancements_disabled":false,"footnotes":""},"categories":[9],"tags":[],"coauthors":[17],"class_list":["post-2453","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-technical-seo","odd"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.3 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>Robots.txt y SEO: todo lo que necesitas saber<\/title>\n<meta name=\"description\" content=\"El archivo Robots.txt le dice a los motores de b\u00fasqueda d\u00f3nde pueden y no pueden entrar en tu sitio web. Tambi\u00e9n controla c\u00f3mo pueden rastrear el contenido accesible.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/ahrefs.com\/blog\/es\/robots-txt\/\" \/>\n<meta property=\"og:locale\" content=\"es_ES\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Robots.txt y SEO: todo lo que necesitas saber\" \/>\n<meta property=\"og:description\" content=\"Aprende c\u00f3mo evitar errores de configuraci\u00f3n con el archivo Robots.txt que puedan perjudicar tu SEO.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/ahrefs.com\/blog\/es\/robots-txt\/\" \/>\n<meta property=\"og:site_name\" content=\"Blog de SEO de Ahrefs\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/Ahrefs\" \/>\n<meta property=\"article:published_time\" content=\"2019-12-29T15:06:00+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-05-15T10:52:16+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/fb-robots-txt-1.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1920\" \/>\n\t<meta property=\"og:image:height\" content=\"990\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Joshua Hardwick\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@JoshuaCHardwick\" \/>\n<meta name=\"twitter:site\" content=\"@ahrefs\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/robots-txt\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/robots-txt\\\/\"},\"author\":{\"name\":\"Joshua Hardwick\",\"@id\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/#\\\/schema\\\/person\\\/5c71f858b5197e8792f01f9ebe29b008\"},\"headline\":\"Robots.txt y SEO: todo lo que necesitas saber\",\"datePublished\":\"2019-12-29T15:06:00+00:00\",\"dateModified\":\"2023-05-15T10:52:16+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/robots-txt\\\/\"},\"wordCount\":3507,\"image\":{\"@id\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/robots-txt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/wp-content\\\/uploads\\\/2019\\\/12\\\/fb-robots-txt-1.png\",\"articleSection\":[\"SEO T\u00e9cnico\"],\"inLanguage\":\"es\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/robots-txt\\\/\",\"url\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/robots-txt\\\/\",\"name\":\"Robots.txt y SEO: todo lo que necesitas saber\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/robots-txt\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/robots-txt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/wp-content\\\/uploads\\\/2019\\\/12\\\/fb-robots-txt-1.png\",\"datePublished\":\"2019-12-29T15:06:00+00:00\",\"dateModified\":\"2023-05-15T10:52:16+00:00\",\"author\":{\"@id\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/#\\\/schema\\\/person\\\/5c71f858b5197e8792f01f9ebe29b008\"},\"description\":\"El archivo Robots.txt le dice a los motores de b\u00fasqueda d\u00f3nde pueden y no pueden entrar en tu sitio web. Tambi\u00e9n controla c\u00f3mo pueden rastrear el contenido accesible.\",\"inLanguage\":\"es\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/robots-txt\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"es\",\"@id\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/robots-txt\\\/#primaryimage\",\"url\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/wp-content\\\/uploads\\\/2019\\\/12\\\/fb-robots-txt-1.png\",\"contentUrl\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/wp-content\\\/uploads\\\/2019\\\/12\\\/fb-robots-txt-1.png\",\"width\":1920,\"height\":990},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/#website\",\"url\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/\",\"name\":\"Blog de SEO de Ahrefs\",\"description\":\"Estrategias de link building y consejos de posicionamiento SEO\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"es\"},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/#\\\/schema\\\/person\\\/5c71f858b5197e8792f01f9ebe29b008\",\"name\":\"Joshua Hardwick\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"es\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/cad6e30bc69b6214a80437bb76c059e85cb510fe32cd4508e85e8e21e967302a?s=96&d=mm&r=g7ec59991e378fc73649e9ab9465e7f69\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/cad6e30bc69b6214a80437bb76c059e85cb510fe32cd4508e85e8e21e967302a?s=96&d=mm&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/cad6e30bc69b6214a80437bb76c059e85cb510fe32cd4508e85e8e21e967302a?s=96&d=mm&r=g\",\"caption\":\"Joshua Hardwick\"},\"description\":\"Jefe de Contenido de Ahrefs (o tambi\u00e9n se puede decir que soy el responsable de asegurar que cada entrada del blog que publiquemos sea \u00c9PICO).\",\"sameAs\":[\"https:\\\/\\\/x.com\\\/JoshuaCHardwick\"],\"url\":\"https:\\\/\\\/ahrefs.com\\\/blog\\\/es\\\/author\\\/joshua-hardwick\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Robots.txt y SEO: todo lo que necesitas saber","description":"El archivo Robots.txt le dice a los motores de b\u00fasqueda d\u00f3nde pueden y no pueden entrar en tu sitio web. Tambi\u00e9n controla c\u00f3mo pueden rastrear el contenido accesible.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/ahrefs.com\/blog\/es\/robots-txt\/","og_locale":"es_ES","og_type":"article","og_title":"Robots.txt y SEO: todo lo que necesitas saber","og_description":"Aprende c\u00f3mo evitar errores de configuraci\u00f3n con el archivo Robots.txt que puedan perjudicar tu SEO.","og_url":"https:\/\/ahrefs.com\/blog\/es\/robots-txt\/","og_site_name":"Blog de SEO de Ahrefs","article_publisher":"https:\/\/www.facebook.com\/Ahrefs","article_published_time":"2019-12-29T15:06:00+00:00","article_modified_time":"2023-05-15T10:52:16+00:00","og_image":[{"width":1920,"height":990,"url":"https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/fb-robots-txt-1.png","type":"image\/png"}],"author":"Joshua Hardwick","twitter_card":"summary_large_image","twitter_creator":"@JoshuaCHardwick","twitter_site":"@ahrefs","schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/ahrefs.com\/blog\/es\/robots-txt\/#article","isPartOf":{"@id":"https:\/\/ahrefs.com\/blog\/es\/robots-txt\/"},"author":{"name":"Joshua Hardwick","@id":"https:\/\/ahrefs.com\/blog\/es\/#\/schema\/person\/5c71f858b5197e8792f01f9ebe29b008"},"headline":"Robots.txt y SEO: todo lo que necesitas saber","datePublished":"2019-12-29T15:06:00+00:00","dateModified":"2023-05-15T10:52:16+00:00","mainEntityOfPage":{"@id":"https:\/\/ahrefs.com\/blog\/es\/robots-txt\/"},"wordCount":3507,"image":{"@id":"https:\/\/ahrefs.com\/blog\/es\/robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/fb-robots-txt-1.png","articleSection":["SEO T\u00e9cnico"],"inLanguage":"es"},{"@type":"WebPage","@id":"https:\/\/ahrefs.com\/blog\/es\/robots-txt\/","url":"https:\/\/ahrefs.com\/blog\/es\/robots-txt\/","name":"Robots.txt y SEO: todo lo que necesitas saber","isPartOf":{"@id":"https:\/\/ahrefs.com\/blog\/es\/#website"},"primaryImageOfPage":{"@id":"https:\/\/ahrefs.com\/blog\/es\/robots-txt\/#primaryimage"},"image":{"@id":"https:\/\/ahrefs.com\/blog\/es\/robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/fb-robots-txt-1.png","datePublished":"2019-12-29T15:06:00+00:00","dateModified":"2023-05-15T10:52:16+00:00","author":{"@id":"https:\/\/ahrefs.com\/blog\/es\/#\/schema\/person\/5c71f858b5197e8792f01f9ebe29b008"},"description":"El archivo Robots.txt le dice a los motores de b\u00fasqueda d\u00f3nde pueden y no pueden entrar en tu sitio web. Tambi\u00e9n controla c\u00f3mo pueden rastrear el contenido accesible.","inLanguage":"es","potentialAction":[{"@type":"ReadAction","target":["https:\/\/ahrefs.com\/blog\/es\/robots-txt\/"]}]},{"@type":"ImageObject","inLanguage":"es","@id":"https:\/\/ahrefs.com\/blog\/es\/robots-txt\/#primaryimage","url":"https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/fb-robots-txt-1.png","contentUrl":"https:\/\/ahrefs.com\/blog\/es\/wp-content\/uploads\/2019\/12\/fb-robots-txt-1.png","width":1920,"height":990},{"@type":"WebSite","@id":"https:\/\/ahrefs.com\/blog\/es\/#website","url":"https:\/\/ahrefs.com\/blog\/es\/","name":"Blog de SEO de Ahrefs","description":"Estrategias de link building y consejos de posicionamiento SEO","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/ahrefs.com\/blog\/es\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"es"},{"@type":"Person","@id":"https:\/\/ahrefs.com\/blog\/es\/#\/schema\/person\/5c71f858b5197e8792f01f9ebe29b008","name":"Joshua Hardwick","image":{"@type":"ImageObject","inLanguage":"es","@id":"https:\/\/secure.gravatar.com\/avatar\/cad6e30bc69b6214a80437bb76c059e85cb510fe32cd4508e85e8e21e967302a?s=96&d=mm&r=g7ec59991e378fc73649e9ab9465e7f69","url":"https:\/\/secure.gravatar.com\/avatar\/cad6e30bc69b6214a80437bb76c059e85cb510fe32cd4508e85e8e21e967302a?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/cad6e30bc69b6214a80437bb76c059e85cb510fe32cd4508e85e8e21e967302a?s=96&d=mm&r=g","caption":"Joshua Hardwick"},"description":"Jefe de Contenido de Ahrefs (o tambi\u00e9n se puede decir que soy el responsable de asegurar que cada entrada del blog que publiquemos sea \u00c9PICO).","sameAs":["https:\/\/x.com\/JoshuaCHardwick"],"url":"https:\/\/ahrefs.com\/blog\/es\/author\/joshua-hardwick\/"}]}},"as_json":null,"json_reviewers":[17],"_links":{"self":[{"href":"https:\/\/ahrefs.com\/blog\/es\/wp-json\/wp\/v2\/posts\/2453","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ahrefs.com\/blog\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ahrefs.com\/blog\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ahrefs.com\/blog\/es\/wp-json\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"https:\/\/ahrefs.com\/blog\/es\/wp-json\/wp\/v2\/comments?post=2453"}],"version-history":[{"count":0,"href":"https:\/\/ahrefs.com\/blog\/es\/wp-json\/wp\/v2\/posts\/2453\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ahrefs.com\/blog\/es\/wp-json\/wp\/v2\/media\/2456"}],"wp:attachment":[{"href":"https:\/\/ahrefs.com\/blog\/es\/wp-json\/wp\/v2\/media?parent=2453"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ahrefs.com\/blog\/es\/wp-json\/wp\/v2\/categories?post=2453"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ahrefs.com\/blog\/es\/wp-json\/wp\/v2\/tags?post=2453"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/ahrefs.com\/blog\/es\/wp-json\/wp\/v2\/coauthors?post=2453"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}