Cualquiera que tenga un mínimo de conocimientos de creación de sitios web, sabrá de la existencia de los archivos robots.txt, que posibilita a los propietarios de sitios web indicar una serie de directivas de acceso a los rastreadores de contenidos en Internet, como Googlebot, de Google.
Pues bien, hasta ahora, los archivos robots.txt, o lo que es lo mismo, el protocolo REP (Robots Exclusion Protocol) en el que es basado, ha sido prácticamente un estándar de facto, generando ciertas ambigüedades tanto a propietarios de sitios web como a desarrolladores de herramientas, aunque desde Google quiere que, después de 25 años de uso, pase a ser un estándar oficial de Internet.
Continúa leyendo «Google quiere estandarizar «robots.txt» después de 25 años de uso en Internet»