Google publica instrucciones sobre cómo gestiona el contenido de los Robots.txt de nuestros sitios

Publicado el

En el blog de Google para Webmasters acaban de anunciar la divulgación de la información referente a lo que hace Google cuando encuentra contradicciones en un archivo robots.txt, a cómo evitar indexar ciertos formatos y a , en general, cómo debemos crear nuestro archivo para controlar exactamente lo que queremos que aparezca en google y lo que no.

En code.google.com/web/controlcrawlindex tenemos la información, con las especificaciones, meta-tags y técnicas que todo administrador web debe conocer para controlar la visibilidad del contenido que publica.

Un nuevo tutorial sobre el conocido Robots.txt, esta vez hecho por quien conoce profundamente el tema: Google.