Google, Microsoft, OpenAI y Anthropic se han comprometido a respetar una misma señal en el archivo robots.txt para que una web pueda negarse a que su contenido se use para entrenar modelos de IA generativa. Hasta ahora había que bloquear el rastreador de cada empresa por separado; con esta propuesta bastará con una regla común. La idea parte de un borrador presentado en el IETF por Kevin Kelley, de Anthropic, el 30 de octubre, y ese mismo día Google, Microsoft y OpenAI anunciaron que la apoyarán. Lo cuenta The Next Web.
La noticia es buena para los editores, pero tiene tres letras pequeñas: todavía no funciona, no obliga a nadie y no incluye ningún pago.
¿Cómo funciona la nueva señal?
Con una entrada nueva en robots.txt dedicada al uso, no a un rastreador concreto. En lugar del nombre de un bot, la web escribe el identificador __usage_ai-training y, debajo, las rutas que no quiere que se usen para entrenar, con las mismas reglas de siempre. El ejemplo del borrador bloquea toda la web salvo la sección de prensa:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
El borrador fija varios matices importantes. Una web que no incluya esa entrada no ha expresado ninguna preferencia. Las reglas genéricas para todos los bots (User-Agent: *) no cuentan como una negativa a que se entrene con ella, de modo que nadie queda dentro o fuera por accidente. Y los acuerdos privados entre una web y una empresa de IA pueden imponerse a lo que diga el archivo.
Hay otro detalle que conviene entender bien: la señal expresa una preferencia de uso, no una orden de rastreo. Según el propio borrador, no es una directiva sobre si el bot puede visitar o no la página. Para impedir la visita sigue haciendo falta bloquear a cada rastreador por su nombre.
¿Cuándo empezará a respetarla cada empresa?
Ninguna lo hace todavía, y los plazos van de «en los próximos meses» a febrero de 2027. Cada compañía ha dado su propio calendario y sus propias reglas de convivencia con los controles que ya tenía:
- Anthropic. Kelley escribió en la lista de correo del IETF que la empresa ya ha empezado a implementarla, que complementa sus controles actuales en lugar de sustituirlos y que el despliegue en todos sus servicios llevará tiempo. No da fecha.
- OpenAI. Según The Next Web, su objetivo es implantarla «en los próximos meses», y sus controles actuales, como el bloqueo de GPTBot, siguen valiendo.
- Google. John Mueller, Search Advocate de Google, explica en el blog de Search Central que, si una web usa la señal para negarse al entrenamiento y no menciona Google-Extended, Google lo interpretará como si hubiera bloqueado Google-Extended. La compañía apunta a 2027.
- Microsoft. Es la más concreta: empezará a respetar las nuevas preferencias a partir del 1 de febrero de 2027, y desde el 1 de marzo de 2027 dejará de leer las etiquetas NoArchive y NoCache, las que usaba desde 2023, como preferencias de entrenamiento o de respuestas con IA.
¿Qué pierde una web que diga que no?
Depende de la empresa, y aquí está la parte que más afecta a un medio. La señal común solo cubre el entrenamiento, pero Google la conecta con Google-Extended, que también controla si el contenido sirve para fundamentar las respuestas de la aplicación Gemini. Mueller lo deja claro: las webs que permiten Google-Extended pueden aparecer en esas respuestas y recibir clics.
Microsoft separa las dos cosas. Además del entrenamiento, añade una preferencia propia por página para lo que llama grounding, el uso del contenido para alimentar respuestas generadas. Ofrece tres opciones: permitirlo, prohibirlo o una intermedia, DisallowExtended, que lo permite en productos de Microsoft como Copilot o Microsoft 365, pero no en los servicios que vende a otras empresas. La compañía avisa de que bloquear ese uso reduce la visibilidad de la marca en sus respuestas con IA, pero no cambia la posición de la página en los resultados normales de Bing. Y añade una frase que resume el alcance del acuerdo: ninguna de las dos opciones garantiza inclusión, tráfico ni pago.
¿Por qué ahora y qué papel juega Europa?
Porque los editores y los reguladores llevaban tiempo pidiendo un control común. Google lo dice expresamente en su anuncio y lo vincula al Código de buenas prácticas de la UE para los proveedores de modelos de IA de uso general, que reconoce robots.txt como la vía principal para que los editores expresen preferencias legibles por máquinas. Encaja con otras decisiones recientes, como la orden de la CMA británica para que los editores puedan salir de las AI Overviews. El borrador agradece además la colaboración de personas del Financial Times, la BBC, Bertelsmann y el European Publishers Council.
Meta es la gran ausente. Su responsable de comunicación, Andy Stone, mostró en X su apoyo a una señal común, según recoge The Next Web, pero no dijo si la respetará. Es llamativo después de que la propia Meta se reservara el derecho a rastrear las webs de las empresas que usan sus servicios.
Tampoco conviene exagerar su estatus: es un borrador individual sin el respaldo formal del IETF, y caduca el 3 de mayo de 2027 si no se revisa.
Mi lectura: es el avance más útil en años para quien publica en internet, porque convierte cuatro configuraciones distintas en una sola y deja por escrito qué significa «entrenar». Pero no cambia la relación de fuerzas. Es una preferencia que las empresas se comprometen a respetar por voluntad propia, sin auditoría ni sanción, y que no toca el dinero, que es lo que de verdad piden los medios. Mientras tanto, el problema de fondo, que es que los bots consumen la web abierta sin devolver casi nada, sigue igual de vivo, como se ve en la lucha de Wikipedia contra los agentes de IA. Si en 2027 la señal funciona y las cuatro empresas la cumplen, será un estándar de verdad. Hasta entonces, mi consejo para cualquier web es añadir la línea ya y no quitar ninguno de los bloqueos que tenga.