El archivo Robots.txt es ideal tenerlo en cada uno de los sitios, ya que con él podremos indicar a los buscadores lo que queremos que indexe y lo que no, pudiendo decirle el tiempo máximo que puede estar por cada carpeta.
Veamos una lista de los tres mejores generadores de robots.txt
En Mcanerin nos presentan una aplicación para generar archivos para robots, en él nos permite especificar las carpetas que queremos que rastreen y el tiempo máximo que deben estar los robots en dicha carpeta/página.
Frobee.com nos permite validar nuestro archivo robots.txt, para ver si éste está correcto antes de mostrarlo a los robots.
En invision-graphics.com nos presentan a su herramienta de gestión de archivos robots.txt, en ella podremos decir qué acciones va a poder realizar cada uno de los robots y en qué carpetas va a poder acceder.
En definitiva, es mejor tener un archivo Robot.txt para que no tengamos problemas con los buscadores, ya que sin él podrían indexar hasta la carpeta de administración del sitio.
Sergio Seijas, uno de los consejos básicos en seguridad web es no añadir el directorio de administración en el archivo robots.txt.
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
esto estaria bien ?
Buenas tardes, alguien sabe que habría que poner en el robots.txt para que los buscadores no indexen todas las url de mi web que terminen con /r/ por ejemplo. http://www.midominio.com/articulo/134/r/
es que google me detecta duplicidades con esas url terminadas /r/
Gracias
Gracias,
poco a poco intento levantar mi web con las ayudas de la gente que deja sus conocimientos…
Gracias amigo, utilize el primero y ya genere mi archivo robots.txt por que el google me pospuso por no encontrarlo 🙂
Muchas gracias, me funciono de maravilla el primer enlace…
Gracias por el contenido
Yo ocupo un robots.txt para mi web me podrias ayudar
mi web es http://www.onenewstech.com
Gracias por articulo lo tendremos presente para los proximos proyectos.
Muy buena explicación, gracias por el post.