Durante la semana pasada muchos usuarios del famoso hosting Siteground vieron cómo sus sitios web dejaron de ser encontrados por Google. El googlebot no encontraba el sitio, los google ads no permitían urls de los sitios y la indexación en el buscador estaba en peligro.
Desde el día 7 de noviembre hasta el jueves pasado, tal y como comentamos hace unos días, la histeria burbujeaba por las redes sociales en busca de alguna solución, ya sea por parte de Google o por parte de Siteground.
Finalmente se encontró el problema. Estaba entre AWS y Google, afectando a Siteground, y este fin de semana el problema ya se solucionó completamente.
John Mueller, de Google, ha decidido hablar sobre este problema en Twitter:
Recientemente, vimos algunos sitios que tenían problemas de DNS específicos para el rastreo del robot de Google, y pensé en hacer un breve hilo sobre cómo funciona eso para Google. Si es algo que te afecta, no te preocupes, se calmará, no hay efectos duraderos.
Aprovecha para comentar cómo funciona el bot de Google cuando hay un error de DNS. Aquí os resumo sus comentarios.
– El robot de Google generalmente realiza búsquedas de DNS en los mismos servidores, por lo que su lista recién publicada de direcciones IP puede ayudar con la verificación y la lista de permisos.
– Es posible realizar una prueba con la herramienta de prueba optimizada para dispositivos móviles y la inspección de URL en Search Console para saber si un rastreador web es realmente un robot de Google (u otro agente de usuario de Google). Podéis obtener más información sobre el tema en este enlace.
– El robot de Google trata una interrupción de DNS como un problema temporal de 5xx inicialmente. Reducen frecuencia de rastreo y, después de un día, lo ven como un error real. Esto significa que a medida que vuelven a rastrear páginas, es posible que desaparezcan de su índice.
– Debido a que los cambios en el servidor DNS tardan en propagarse, a menos que se sepa que persistirán durante más de un día, por lo general no vale la pena trasladarse a una infraestructura diferente. A menudo, es más fácil mantener el DNS con el alojamiento, de modo que cualquier cambio de dirección IP se pueda actualizar automáticamente.
– Una vez que se resuelve, el rastreo y la indexación de Googlebot se reanuda automáticamente. La frecuencia de rastreo aumenta con el tiempo a medida que desaparecen los errores, las URL eliminadas se volverán a rastrear con el tiempo y volverán al índice. La visibilidad se estabilizará nuevamente.
– Generalmente, no hay efectos duraderos de interrupciones temporales como estas. Los problemas técnicos van y vienen.
– Si tienes páginas importantes que necesitas reprocesar rápidamente, usa «Inspeccionar URL» en Search Console para volver a enviarlas. Dentro de un sitio web, también es bueno usar enlaces internos para resaltar y enlazar a lo que realmente te importa.
– Debido a la forma en que Search Console agrega información sobre las URL a través de la indexación, es probable que el recuento de errores no baje a cero de inmediato (incluso si los errores han desaparecido); eso está bien y solo es un problema de informes.
Es decir, que si veis que el problema va a durar más de un día, es mejor activar otro hosting.