Si tienes un sitio web, probablemente te interese saber quién lo visita y cómo interactúan los motores de búsqueda con él. robots.txt es una herramienta fundamental que te permite indicar a los robots de los motores de búsqueda qué partes de tu sitio web pueden explorar y cuáles deben evitar. En este artículo, te explicaremos de manera sencilla y práctica cómo funciona, cómo implementarlo y cómo sacarle el máximo provecho.
¿Qué es robots.txt y por qué es importante?
robots.txt es un archivo de texto simple que se coloca en la carpeta principal de un sitio web para proporcionar instrucciones a los robots o rastreadores web (también llamados crawlers o spiders). Su función principal es establecer reglas sobre qué contenido puede ser rastreado e indexado por los motores de búsqueda.
Aunque Google y otros motores de búsqueda suelen ser inteligentes a la hora de rastrear sitios web, hay ocasiones en las que querrás evitar que ciertas páginas sean indexadas, ya sea por razones de privacidad, rendimiento o estructura del sitio.
¿Cómo funciona robots.txt?
El funcionamiento de robots.txt se basa en directivas simples escritas en un archivo de texto plano. Cada regla sigue una estructura básica:
- user-agent: Especifica el bot al que se aplica la regla (por ejemplo, Googlebot para Google).
- allow: Indica qué páginas pueden ser rastreadas.
- disallow: Especifica qué páginas no deben ser rastreadas.
Ejemplo básico de un archivo robots.txt:
user-agent: *
disallow: /privado/En este caso, todos los bots (*) tienen prohibido acceder a la carpeta «/privado/».
Casos de uso comunes de robots.txt
1. Evitar que se indexen páginas irrelevantes o privadas
Si tienes un área de administración o páginas de prueba en tu sitio, puedes bloquear su rastreo:
user-agent: *
disallow: /admin/
disallow: /test/2. Permitir el rastreo de ciertas secciones y bloquear otras
Si deseas que los robots puedan acceder a tu blog pero no a los borradores, puedes usar:
user-agent: *
allow: /blog/
disallow: /blog/drafts/3. Restringir bots específicos
Si deseas bloquear un bot en particular, puedes indicarlo de esta manera:
user-agent: badbot
disallow: /Esto impide que «badbot» acceda a cualquier parte de tu sitio.
Buenas prácticas al usar robots.txt
- No bloquees contenido importante. Si una página debe aparecer en Google, asegúrate de no restringir su acceso por error.
- Utiliza robots.txt junto con meta robots. Para evitar la indexación de páginas específicas, el meta tag «noindex» en el código HTML es más efectivo.
- Prueba tu archivo robots.txt. Google Search Console tiene herramientas para verificar que esté funcionando correctamente.
- No confíes en robots.txt para proteger información sensible. Aunque bloquea el acceso de bots legítimos, algunos bots maliciosos pueden ignorarlo.
¿Cómo modificar robots.txt?
Si usas un CMS como WordPress, existen plugins que facilitan la edición de robots.txt sin necesidad de acceder a los archivos del servidor. Para sitios web personalizados, solo necesitas crear un archivo de texto plano y subirlo a la raíz de tu dominio.
robots.txt es una herramienta flexible y poderosa que te permite optimizar el rastreo de tu sitio web. Con una configuración adecuada, puedes mejorar la eficiencia de los motores de búsqueda al explorar tu contenido, evitando sobrecargas en el servidor y protegiendo áreas privadas de tu web. En WWWhatsnew creemos que comprender su funcionamiento es clave para cualquier propietario de un sitio web que quiera mejorar su presencia en los buscadores.