\u00bfHas o\u00eddo alguna vez el t\u00e9rmino robots.txt y te has preguntado c\u00f3mo se utiliza en tu sitio web? La mayor\u00eda de los sitios web tienen un archivo robots.txt, pero eso no significa que la mayor\u00eda de los propietarios de sitios lo entiendan. En este post, esperamos cambiar eso ofreciendo una inmersi\u00f3n profunda en el archivo robots.txt de WordPress, as\u00ed como en la forma en que puede controlar y limitar el acceso a tu sitio.<\/p>\n
Hay mucho que tratar, \u00a1as\u00ed que empecemos!<\/p>\n
Antes de hablar del archivo robots.txt de WordPress, es importante definir qu\u00e9 es un \u00abrobot\u00bb en este caso. Los robots son cualquier tipo de \u00abbot\u00bbque visita sitios web en Internet. El ejemplo m\u00e1s com\u00fan son los rastreadores de los motores de b\u00fasqueda. Estos robots \u00abrastrean\u00bbla web para ayudar a los motores de b\u00fasqueda<\/a> como Google a indexar y clasificar los miles de millones de p\u00e1ginas de Internet.<\/p>\n As\u00ed que, los robots son, en general<\/em>, algo bueno para Internet… o al menos algo necesario. Pero eso no significa necesariamente que t\u00fa, u otros propietarios de sitios web, quer\u00e1is que los robots anden sueltos por ah\u00ed. El deseo de controlar la forma en que los robots web interact\u00faan con los sitios web llev\u00f3 a la creaci\u00f3n de la norma de exclusi\u00f3n de robots<\/strong> a mediados de la d\u00e9cada de 1990. Robots.txt es la aplicaci\u00f3n pr\u00e1ctica de esa norma \u2014 te permite controlar c\u00f3mo interact\u00faan los robots participantes con tu sitio<\/strong>. Puedes bloquear los robots por completo, restringir su acceso a determinadas \u00e1reas de tu sitio, etc.<\/p>\n Sin embargo, esa parte de \u00abparticipar\u00bb es importante. Robots.txt no puede obligar a<\/em> un bot a seguir sus directrices. Y los robots maliciosos pueden ignorar el archivo robots.txt, y lo har\u00e1n. Adem\u00e1s, incluso las organizaciones reputadas ignoran algunas<\/em> \u00f3rdenes que puedes poner en robots.txt. Por ejemplo, Google ignorar\u00e1 cualquier regla<\/a> que a\u00f1adas a tu robots.txt sobre la frecuencia de visita de sus rastreadores. Puedes ajustar la frecuencia con la que Google rastrea tu sitio web en la p\u00e1gina Configuraci\u00f3n de la frecuencia de rastreo<\/a> de tu propiedad en Google Search Console.<\/p>\n Si tienes muchos problemas con los robots, una soluci\u00f3n de seguridad como Cloudflare<\/a> o Sucuri<\/a> puede resultarte \u00fatil.<\/p>\n El archivo robots.txt vive en el root de tu sitio web, por lo que a\u00f1adir \/robots.txt despu\u00e9s de tu dominio deber\u00eda cargar el archivo (si tienes uno). Por ejemplo, https:\/\/kinqsta.com\/robots.txt.<\/strong><\/p>\n Para la mayor\u00eda de los propietarios de sitios web, las ventajas de un archivo robots.txt bien estructurado se reducen a dos categor\u00edas:<\/p>\n Robots.txt no es una forma infalible de controlar qu\u00e9 p\u00e1ginas indexan los buscadores. Si tu objetivo principal es impedir que determinadas p\u00e1ginas se incluyan en los resultados de los motores de b\u00fasqueda, lo adecuado es utilizar una etiqueta meta noindex<\/a> o una protecci\u00f3n por contrase\u00f1a.<\/p>\n Esto se debe a que tu robots.txt no est\u00e1 diciendo directamente a los motores de b\u00fasqueda que no indexen el contenido, s\u00f3lo les est\u00e1 diciendo que no lo rastreen. Aunque Google no rastrear\u00e1 las \u00e1reas marcadas desde dentro de tu sitio, el propio Google afirma<\/a> que si un sitio externo enlaza con una p\u00e1gina que excluyes con tu archivo robots.txt, Google podr\u00eda indexar esa p\u00e1gina.<\/p>\n John Mueller, Analista de Google Webmaster, tambi\u00e9n ha confirmado que si una p\u00e1gina tiene enlaces que apuntan a ella, aunque est\u00e9 bloqueada por robots.txt, podr\u00eda seguir siendo indexada<\/a>. A continuaci\u00f3n se muestra lo que dijo en un hangout de Webmaster Central:<\/p>\n Una cosa que quiz\u00e1 haya que tener en cuenta aqu\u00ed es que si estas p\u00e1ginas est\u00e1n bloqueadas por robots.txt, entonces te\u00f3ricamente podr\u00eda ocurrir que alguien enlazara al azar a una de estas p\u00e1ginas. Y si lo hace, podr\u00eda ocurrir que index\u00e1ramos esta URL<\/strong> sin ning\u00fan contenido porque est\u00e1 bloqueada por robots.txt. As\u00ed que no sabr\u00edamos que no quieres que se indexen estas p\u00e1ginas.<\/p>\n Mientras que si no est\u00e1n bloqueadas por robots.txt puedes poner una metaetiqueta noindex en esas p\u00e1ginas. Y si alguien enlaza con ellas, y nosotros rastreamos ese enlace y pensamos que puede haber algo \u00fatil aqu\u00ed, sabremos que esas p\u00e1ginas no necesitan ser indexadas y podremos omitirlas por completo de la indexaci\u00f3n.<\/p>\n As\u00ed que, en ese sentido, si tienes algo en estas p\u00e1ginas que no quieres que se indexen, no las deshabilites, utiliza noindex<\/strong> en su lugar.<\/p><\/blockquote>\n Es importante recordar que no es necesario<\/em> que tengas un archivo robots.txt en tu sitio. Si no tienes ning\u00fan problema con que todos los robots tengan v\u00eda libre para rastrear todas tus p\u00e1ginas, entonces puedes optar por no molestarte en a\u00f1adir uno, ya que no tienes instrucciones reales que dar a los rastreadores.<\/p>\n En algunos casos, puede que ni siquiera puedas a\u00f1adir un archivo robots.txt debido a las limitaciones del CMS que est\u00e9s utilizando. Esto est\u00e1 bien, y existen otros m\u00e9todos para dar instrucciones a los robots sobre c\u00f3mo rastrear tus p\u00e1ginas sin utilizar un archivo robots.txt.<\/p>\n El archivo robots.txt debe devolver un c\u00f3digo de estado HTTP 200 OK para que los rastreadores puedan acceder a \u00e9l.<\/p>\n Si tienes problemas para que los motores de b\u00fasqueda indexen tus p\u00e1ginas, merece la pena que compruebes dos veces el c\u00f3digo de estado que devuelve tu archivo robots.txt. Todo lo que no sea un c\u00f3digo de estado 200 podr\u00eda impedir que los rastreadores accedan a tu sitio.<\/p>\n Algunos propietarios de sitios han informado de la desindexaci\u00f3n de p\u00e1ginas debido a que su archivo robots.txt devuelve un estado distinto de 200. Un propietario de un sitio web pregunt\u00f3 sobre un problema de indexaci\u00f3n en un hangout de Google SEO office-hours en marzo de 2022 y John Mueller explic\u00f3<\/a> que el archivo robots.txt debe devolver un estado 200 si est\u00e1 presente, o un estado 4XX si el archivo no existe. En este caso, se devolv\u00eda un error 500 de servidor interno<\/a>, lo que, seg\u00fan Mueller, podr\u00eda haber provocado que Googlebot excluyera el sitio de la indexaci\u00f3n.<\/p>\n Lo mismo puede verse en este Tweet, en el que el propietario de un sitio informaba de que todo su sitio hab\u00eda sido desindexado debido a que un archivo robots.txt devolv\u00eda un error 500.<\/p>\n [Quick SEO tip]<\/p>\n If you are having issue with indexing, make sure your robots.txt file is returning either 200 or 404. <\/p>\n If your file returns 500, Google will eventually deindex your website, as I've seen with this project. pic.twitter.com\/8KiYLgDVRo<\/a><\/p>\n — Antoine Eripret (@antoineripret) November 14, 2022<\/a><\/p><\/blockquote>\n\u00bfC\u00f3mo Encontrar robots.txt?<\/h3>\n
\u00bfCu\u00e1ndo Debes Utilizar un Archivo robots.txt?<\/h3>\n
\n
Robots.txt no Pretende Controlar Espec\u00edficamente qu\u00e9 P\u00e1ginas se Indexan en los Buscadores<\/h3>\n
\u00bfNecesito un Archivo robots.txt?<\/h3>\n
\u00bfQu\u00e9 C\u00f3digo de Estado HTTP debe Devolver el Archivo robots.txt?<\/h3>\n
\n