El robot de Obama

El archivo robots.txt es un archivo que aparece en los servidores web para indicar en donde deben husmear los buscadores como google, yahoo, etc ... Coincidente con la toma de posesión de Obama se ha producido un cambio radical en la web de la Casa Blanca con nuevos contenidos etc ... Me quiero tomar un tiempo para analizar su contenido. Hoy solo voy a comparar del contenido del fichero robots.txt en la versión de Bush y el mismo fichero en la misma web de Obama.

En la nueva web de la Casa Blanca utilizan un fichero robots.txt super reducido

User-agent: *
Disallow: /includes/

que básicamente le dice a los buscadores que fisguen por toda la web, salvo en el directorio /includes/ supongo con items de tipo técnico.

Esto contrasta con el fichero robots.txt en los tiempos de Bush para la misma web. El fichero robots.txt tenía casi 2400 lineas. No sería justo asimilar directamente esta gran longitud de robots.txt con secreto y un fichero corto con apertura, pues hay que tener en cuenta algún aspecto técnico. Pero en este caso sí ocurría que la Casa Blanca de Bush limitaba la entrada a los buscadores y que la de Obama no lo hace. Así que, la metáfora de robots.txt, no es solo una metáfora, también es la realidad.

La idea de este post está tomada de kottke.org