Una de las dudas más habituales que surgen tras crear una página web, es qué es el archivo Robots.txt; porque es casi de lo primero de lo que tenemos que encargarnos. Pero… ¿Qué es? ¿Para qué sirve? ¿Es tan necesario como dicen? No sigas con dudas, quédate que te lo contamos.
¿Qué es Robots.txt?
Robots.txt es un archivo en texto plano que tenemos que subir a nuestro sitio web para impedir que los robots de Google (o de otros buscadores) rastreen contenido que no queremos que se indexe. Es decir, que no nos interesa que se muestre en los resultados de búsqueda.
Por tanto, deberemos editar y enviar el archivo Robots.txt para indicarle a las arañas qué partes de la web no queremos que se indexen. Pueden ser URLs concretas; por ejemplo contenido duplicado por error, directorios, subdirectorios, indicar cuál es nuestro sitemap, etc.
Es muy importante debido a que determinará, de alguna forma, la indexación de nuestra página web. De tal forma que podamos gestionar lo que no queremos que se indexe en los buscadores bajo ningún concepto.
Además, en muchos casos se genera automáticamente al utilizar ciertos CMS. Por lo que si es tu caso, revísalo y edítalo para adaptarlo a tus necesidades.
¿Cómo se crea el robots.txt?
Al ser un archivo de tipo texto plano es muy sencillo. Simplemente tendrás que crear un archivo con extensión .txt y llamarle robots. En él deberás introducir las filas de texto adaptadas a tus necesidades.
Un ejemplo de archivo robots.txt es el siguiente:
User-agent: *
Disallow: /files
Disallow: /blog/wp-content
Cuando lo tengas listo, deberás subirlo a la raíz del dominio. Es decir, necesitarás poder entrar en las carpetas de tu sitio para dejarlo en la raíz; simplemente arrastrándolo, copiando y pegando; o directamente editando el que ya tienes.
¿Qué significan los comandos del robots.txt?
Es normal que al leer ciertos comandos no sepas qué significan. Pero del ejemplo anterior, que sepas que user-agent se refiere a los robots o a las arañas de los motores de búsqueda, indicando que queremos que cualquier buscador rastree nuestro sitio web. Luego, disallow se utiliza para bloquear y allow para permitir.
Por lo que simplemente tendrás que ir adaptando cada comando a las necesidades específicas de tu sitio. ¡Así quedará perfecto!
¿Qué puedo hacer si no sé editar el robots.txt?
Si no sabes cómo editar este archivo o qué añadir y/o quitar para que la web se indexe perfectamente, siempre puedes contactar con nosotros para que te podamos crear el archivo robots.txt adaptado a tus necesidades.
Si bien es cierto que hay usuarios que directamente copian el archivo robots.txt de otras páginas web que son similares. Pero, aunque puede funcionar, también podría ser un completo error. Sobre todo si no entendemos los comandos que se utilizan y el archivo no se corresponde con nuestro sitio, ya que podría perjudicar.
Por eso, ante la duda, lo mejor es que lo dejes en manos de profesionales,
