Los 3 mejores generadores de archivos Robots.TXT

Publicado el

El archivo Robots.txt es ideal tenerlo en cada uno de los sitios, ya que con él podremos indicar a los buscadores lo que queremos que indexe y lo que no, pudiendo decirle el tiempo máximo que puede estar por cada carpeta.

Veamos una lista de los tres mejores generadores de robots.txt

En Mcanerin nos presentan una aplicación para generar archivos para robots, en él nos permite especificar las carpetas que queremos que rastreen y el tiempo máximo que deben estar los robots en dicha carpeta/página.

Frobee.com nos permite validar nuestro archivo robots.txt, para ver si éste está correcto antes de mostrarlo a los robots.

En invision-graphics.com nos presentan a su herramienta de gestión de archivos robots.txt, en ella podremos decir qué acciones va a poder realizar cada uno de los robots y en qué carpetas va a poder acceder.

En definitiva, es mejor tener un archivo Robot.txt para que no tengamos problemas con los buscadores, ya que sin él podrí­an indexar hasta la carpeta de administración del sitio.

10 comentarios en “Los 3 mejores generadores de archivos Robots.TXT

  1. Sergio Seijas, uno de los consejos básicos en seguridad web es no añadir el directorio de administración en el archivo robots.txt.

Comentarios están cerrados.