El fichero robots.txt puede llegar a ser de utilidad en un sitio web y generalmente está disponible en modo automático en los gestores de contenido, que ya te lo dan escrito y optimizado, si bien puede ser modificado.
Cuando uno se lo quiera hacer a mano, debe saber qué es, para qué sirve y como se optimiza.
En esencia es un fichero de texto plano, o texto sin formato, editado con un editor tipo bloc de notas (Notepad) que tiene una serie de órdenes para comunicarse con los robots que rastrean e indexan una web para ser incluidas en sus correspondientes directorios de los buscadores a los que sirven.
En realidad, cuando un robot o un spider llega a una web, lo primero que busca es la existencia de este fichero robots.txt (eso dicen), que le da instrucciones acerca de los permisos y prohibiciones que se le dan para rastrear archivos y carpetas.
Esencialmente hay dos tipos de instrucciones:
User-agent: para referirse a un robot en particular.
Disallow: para deshabilitar el permiso de una carpeta en particular.
Será que como son robots, su lenguaje es bastante reducido y se limita a buscar aparcamiento y pedir café con leche, que es lo esencial en la vida moderna.
Además se usa el caracter comodín * para hacer referencia a todos los robots o a todas las carpetas, con la misma convención que viene usándose desde el viejo Ms-DOS. (¡quién se acuerda ya del pobre!).
Pongamos por ejemplo que queremos deshabilitar el que un robot rastree determinadas carpetas, denominadas por ejemplo flash (donde se encuentran nuestros archivos Flash), dado que no sé si saben que Google, por ejemplo, indexa las películas Flash (*.swf) publicadas en un sitio web como ficheros adjuntos (resultados suplementarios, los llama) y eso supone tiempo de rastreo.
O, por ejemplo que tenemos una carpeta de pruebas, llamada pruebas o algo más inteligente, o una carpeta con notas de diseño, llamada notes, u otra con nuestros scripts CGI llamada cgi-bin, u otra llamada scripts, etc.
Revisar por un robot todas esas carpetas se traduce en tiempo y en cabreos del robot, ya que la dedicación que nos da a revisar nuestro website es limitada y no conviene marearlos, que son muy sensibles a las pérdidas de tiempo, que tienen varios millones de webs en cola de espera.
Otra técnica que puede usarse es la de que no vuelva a pasar por una carpeta cuyo contenido principal sabemos que ya está indexado en el directorio del buscador correspondiente, modificando periódicamente el robots.txt para hacerle que vaya a nuevas carpetas aún no revisadas y deshabilitando las ya miradas y remiradas por un periodo largo de tiempo.
Un posible fichero robots.txt con estas finalidades podría ser de la siguiente forma:
User-agent: *
Disallow :/cgi-bin/
Disallow :/bin/
Disallow :/conf/
Disallow :/flash/
Disallow :/error_docs/
Disallow :/Scripts/
Disallow :/_private/
Disallow :/pruebas/
Disallow :/templates/
etc.
Con esto le estamos hablando a cualquier robot y le prohibimos que revise las carpetas mencionadas, para que no invierta tiempo en contenidos irrelevantes para él.
También podemos hablarle a cada robot en particular, solo debemos saber como se llama, por ejemplo, el de Google tiene dos, el Googlebot que es el genérico y el Googlebot-Image, que es el utilizado para incluir imágenes en su directorio. El de Altavista se llama Scooter, etc. Así podríamos ir añadiendo bloques de texto como el anterior habilitando y deshabilitando carpetas, según los contenidos que vayamos viendo que están indexados en los diferentes directorios de los múltiples buscadores.
p. ej:
User-agent: Googlebot
Disallow :/cgi-bin/
Disallow :/bin/
Disallow :/conf/
User-agent: Googlebot-Image
Disallow :/cgi-bin/
Disallow :/bin/
Disallow :/conf/
User-agent: Scooter
Disallow :/cgi-bin/
Disallow :/bin/
Disallow :/images/
¿Qué finalidad puede tener esto? Con el asterisco como comodín podríamos haberlo hecho para todos. Yo le encuentro dos: la primera porque no todos los robots indexan e incluyen las páginas de forma igualitaria y puede que ya tengamos contenidos en ciertos directorios y en otros no, que nos interesa poner a disposición de unos y de otros ya no sea necesario. En segundo lugar, lo que yo llamo el efecto sicológico de las fuerzas irracionales de la informática, dado que con decir "Españoles todos: bla, bla, bla,...", quedamos todos los españoles incluidos en el llamamiento, pero no es lo mismo que el que nos fueran llamando a cada uno por nuestro nombre. Supongo que es más directo y cortés llamar a los robots de nuestro interés por su nombre directo que de una forma genérica. Una locura inútil como otra cualquiera.
Por último, el fichero ha de ser publicado en el directorio raiz del sitio web, en el más alto al que tengamos acceso. Pero seguro que ustedes pueden encontrar fácilmente en internet opiniones más precisas que las mías y, seguramente, más altamente especializadas. No obstante, le doy el consejo que no se me pide: desconfíe de las leyendas urbanas y sólo crea de lo que se dice en internet y en sus foros aquello que usted haya comprobado por sí mismo con sus experiencias y experimentos.
Entradas
