El archivo ROBOTS TXT es una parte importante para la correcta indexación de un sitio web, ya que con este archivo podemos guiar a los buscadores por nuestra web y evitar que muestren en sus resultados de busqueda las URL que no necesitan ser indexadas..
Para crear el archivo robots.txt es suficiente con crear un archivo de texto llamado robots.txt y subirlo en la carpeta raiz de nuestro sitio web, el archivo robots.txt debe llevar un encabezado "User-agent: *" que especifica al buscador que no queremos que indexe nuestra web, en este caso el simbolo * es para todos los buscadores y a continuación “Disallow:” seguido del directorio o archivo que no queremos que los buscadores indexen de nuestra web (podemos escribir la dirección completa o abreviada a partir de la raiz de nuestra web).
Ejemplo:
User-agent: *
Disallow: /temas/
Disallow: www.misitio.com/basesdedatos/
Disallow: /instalar.txt
Disallow: www.misitio.com/instalar.php
Tambien podemos crear facilmente el archivo robots.txt para Google con su herramienta para webmasters, solo tenemos que iniciar sesion en hermmaientas para webmasters de Google, seleccionar el domino correspondiente al sitio web, ir al Menu Acceso a Rastreadores en el lado izquierdo y generar archivo robots.txt. Ahi seleccionaremos los directorios y/o archivos y una vez generado descargarlo y subirlo al directorio raiz de nuestra web.
Herramientas de Webmaster de Google
Aqui les dejamos otra buena pagina web que nos permite crear el archivo robots.txt para cualquier buscador.
Herramienta SEO : Generador Robots.txt
