El robots.txt es un fichero que suele estar disponible en la raíz de un sitio Web (es decir, http://miSitio/robots.txt). Se trata de un fichero que las arañas de los buscadores piden antes de descargar ninguna página de un sitio Web. En el fichero robots.txt se pueden especificar qué páginas y/o directorios se pueden o no indexar en los buscadores. El fichero robots.txt suele utilizarse con diferentes propósitos:

• Para evitar que cierta información sensible esté indexada en los buscadores.

• Para evitar que información poco útil se indexe y concentrar la actividad del buscador sobre las páginas más importantes

• Para especificar la ruta del sitemap XML

Muchos sitios Web no disponen de robots.txt. En tal caso, los buscadores asumen que el propietario de dicho sitio no impone ningún tipo de reglas al rastreo e indexación. La correcta utilización del robots.txt es de mucha ayuda en el posicionamiento en buscadores.

A continuación se incluye un ejemplo de robots.txt: incluye una referencia al sitemap del sitio Web e indica a los robots que no deben indexar el /admin.php ni nada del directorio /admin.

User-agent: *

Disallow: /admin.php

Disallow: /admin/

Sitemap: http://misitio.com/sitemap

Si tu sitio aun no cuenta con un archivo robots.txt, es urgente que lo implementes. Es de mucha ayuda para lograr mejores posiciones en los buscadores.

También pueden interesarte

• No hay post relacionados