Estaba el otro día hablando con Bárbol sobre soluciones y prácticas e indefectiblemente acabó por cumplirse este axioma:
Dos SEOs, tres opiniones.
Esta verdad tan grande, se debe a la experiencia y sabiduría SEO de funana y fue originalmente expresada en el post SEO Legends, de Drupal SEO Mistakes.
Bueno, así como a Brett Tabke le da por ser original y escribir su blog en el archivo de marras, los hay que prefieren el uso tradicional y les gusta tirar de robots.txt para prohibir el acceso a determinadas partes de su site. Véase por ejemplo el robots.txt de la Casa Blanca
¿Qué pasa? ¿Nunca habéis conocido a alguien que se lea la guía telefónica? Pues yo leo el robots.txt de la Casa Blanca. Además, encuentro muy interesante ver que tienen directorios llamados blackhistory, firstlady o fitness y me pregunto las razones por las que querrías sacar del buscador cosas como sitemap.html o accesibility.html.
No obstante, tengo una duda razonable sobre la longitud que puede alcanzar este archivo, en principio, no debería de estar limitado: total, los de la Casa Blanca usan 89.356 caracteres de nada (ale a lo grande, como todo lo estadounidense) sin embargo Google restringe la prueba del robots.txt en su webmaster tool a 5.000 caracteres.
El sentido común sugiere moderación que el robots.txt es muy delicado. Tendré que desechar lo de hacer una tesis en/sobre el robots.txt.

Gracias a María que me descubrió la existencia de este mensaje de error. Por cierto, que no fue ella la culpable de subir un robots.txt de semejante tonelaje ¡Ni yo!
PD: ya sé que la imagen se sale, es por coherencia.
Visto que lo del robots.txt no os pone líricos, os paso esto que no es nada nuevo, pero que atestigua que G. ha mejorado sus capacidades lingüísticas implementando conjugaciones y equivalencias de singular/plural. La query: fallecimientos malaga devuelve resultados con los siguientes destacados en negrita: fallecimientos, fallecimiento y fallecidos. En fin, a tener en cuenta a la hora de hacer las meta-description.
¿Pueden los androides soñar con ovejas elécricas?. ¿Pueden los robots tener humor y además un blog? Pues sí señores y aquí está la prueba: Brett Tabke (1) de Webmasterworld bloguea usando el robots.txt en The Bot Blog
Esta paradoja oculta, comentada y sin comentarios, no es solo es un bello ejercicio de arte por el arte. El robots.txt era originalmente archivo creado para la lectura y dirección de máquinas (2), no para el solaz e información de humanos curiosos, y sin embargo ahí está, desafiando al RSS, a las suscripciones, al diseño, a la publicidad y a la dichosa web 2.0 en “un viaje especial de esbeltez y osadía… solo, alegre, sin perder la línea” (3)
La idea surgió como un diálogo interior (ver el jocoso primer post en los archivos antiguos) y desde entonces ha venido dejando nos muestras de la mente de su creador y de la de un tal Steven Wright
En cuanto a los contenidos recomiendo leer el post Can Google Predict The Future? del 29 de mayo sobre los mecanismos que podrían estar utilizándose para detectar tus clicks en tus propios adsenses. ¿Escalofriante o teoría conspiratoria?
Una última cosilla, no intentéis hacerlo en casa, a menos que sepáis como derivar el robots.txt al “otro robots.txt”
———
1) por si no os suena, es el inventor de la palabra SERP (Search Engine Results Page)
2) El archivo real del protocolo de exclusión de robots se encuentra aquí: http://www.webmasterworld.com/robots2
3) Copiando el poema La Fiesta Nacional de Manuel Machado. Eso sí, omitimos lo de ágil, que por mucho que nos guste el blog, va a ser que no.