404 Media publicó hoy documentos internos que muestran cómo revisores humanos ven las imágenes y prompts que los usuarios envían a Copilot para edición con IA, sin restricciones de contenido
El modus operandi de las plataformas de IA con los datos de sus usuarios sigue siendo una caja negra para la mayoría. 404 Media acaba de abrir una ventana: el equipo de producto de Microsoft Copilot usa contratistas humanos para ver las fotos que los usuarios suben para edición, junto con los prompts que escriben, y muchos de esos prompts tienen contenido sexual, según documentos internos que el medio ha obtenido.
«Las caras siempre aparecen sin censurar, y muchos de los prompts son de naturaleza sexual y de consentimiento dudoso», declaró al medio uno de los contratistas que trabaja en los prompts. TNW y wwwhatsnew.com no han visto los documentos originales.
¿Para qué necesita Microsoft que humanos vean esas fotos?
El mecanismo es de evaluación de calidad, no de moderación de contenido. En cada tarea, el contratista recibe el prompt original del usuario, la foto que subió y dos versiones generadas por Copilot. Su trabajo es elegir cuál de las dos es mejor, evaluando si sigue las instrucciones, mantiene el resto de la imagen sin cambios, evita distorsiones y tiene buena calidad visual global.
El punto clave: los contratistas no están contratados para detectar o reportar contenido dañino u ofensivo. Están pagados para evaluar la calidad técnica del resultado — incluido cuando la solicitud es sexual. Las instrucciones internas les dicen que «confíen en sus instintos» como observadores humanos.
Los contratistas describieron solicitudes para acortar faldas de mujeres, agrandar pechos, poner personas en posiciones sexuales, y sets de fotos «upskirt». También aparecieron prompts con contenido pro-anorexia. Uno de los revisores preguntó en el tablón interno: «¿Quién está escribiendo estos prompts y quién decide que generar porno es el objetivo de Copilot?»
Al menos una de las empresas que contrata a los revisores es Prolific, según 404 Media. Prolific no respondió a la solicitud de comentario. Microsoft remitió al medio a sus términos de uso: «Microsoft usa datos de clientes tal como se describe en nuestros términos de uso, incluyendo para mejorar nuestros productos y hacer cumplir nuestro código de conducta.»
¿Es esto diferente de lo que hace OpenAI?
No exactamente. El propio 404 Media publicó este mes que los contratistas de OpenAI también leen conversaciones reales de ChatGPT. Ese ciclo de revisión humana es estándar en el desarrollo de modelos de lenguaje e imagen: necesitas que humanos validen la calidad del output para entrenar y ajustar los modelos. Lo que varía entre empresas es cuánto contenido sensible llega a esos revisores, con qué políticas y con qué cobertura legal para los propios contratistas.
Lo más llamativo del caso Copilot no es que ocurra la revisión humana — eso lo hacen todos — sino la naturaleza del contenido que está llegando a los revisores. Que Copilot permita ediciones sexuales de imágenes reales de personas, sin censura automática previa y con una persona humana en el otro lado evaluando la calidad de esas ediciones, abre preguntas legales serias en jurisdicciones europeas.
El Consejo de Supervisión de Meta ya fue criticado por tener reglas inadecuadas frente a los deepfakes. En Microsoft el riesgo es análogo: plataformas de edición de imagen con IA sin barandillas efectivas de moderación automática se convierten en infraestructura para contenido no consensual.
Apple acaba de ser criticada por sus pantallas de seguimiento ATT en Alemania, Francia, Italia, Polonia y Rumanía por ser menos alarmantes que en otros mercados. La tendencia de las grandes plataformas tech a adaptar el nivel de transparencia a cada jurisdicción — en lugar de aplicar el estándar más alto globalmente — es exactamente el tipo de comportamiento que el AI Act europeo intenta atacar.
¿Qué debería cambiar?
La respuesta de Microsoft remite a los TOS. Eso es formalmente correcto: los términos dicen que los datos pueden usarse para mejorar los productos. Pero «mejorar los productos» y «que un contratista humano vea tus fotos personales junto a un prompt sexual» son cosas diferentes para la mayoría de los usuarios. La asimetría de información es el problema real.
Microsoft acaba de lanzar una nueva app de Copilot con herramientas de coding y un agente always-on llamado Autopilot. El ejecutivo vicepresidente que dirige Copilot, Jacob Andreou, dijo esta semana a Business Insider que el riesgo de IA que más preocupa a Microsoft es la «difusión» — expandir la IA masivamente por la economía. El riesgo que menos preocupa a Microsoft, aparentemente, es que sus propios revisores humanos vean tus fotos personales sin que tú lo sepas.
Hay una cuestión de diseño sistémico que va más allá de la legalidad. El RGPD europeo exige que el tratamiento de datos sea transparente para el usuario. Que un contratista humano pueda ver tus fotos —incluyendo las de carácter sexual— como parte del proceso de mejora del producto está dentro de lo que los TOS permiten, pero no es lo que la mayoría de usuarios entiende cuando acepta esos términos sin leerlos. La brecha entre lo que es legal y lo que los usuarios creen que ocurre con sus datos es exactamente el espacio que la regulación de IA, tanto en Europa como en EEUU, intenta cerrar. En Microsoft, aparentemente, esa brecha sigue siendo enorme. El siguiente titular sobre privacidad en IA puede llegar de cualquier platform. La pregunta es cuántos más hacen falta antes de que los usuarios lean los TOS antes de subir sus fotos. La respuesta realista es que no cambiarán de comportamiento hasta que la regulación cambie los incentivos para las plataformas. Mientras sea más barato incluir el acceso de revisores humanos en los términos de uso que implementar salvaguardas automáticas suficientemente buenas, las plataformas seguirán eligiendo la opción más barata. El RGPD podría ser el marco que obligue al cambio, pero la Comisión Europea tiene decenas de casos abiertos y los tiempos de resolución se miden en años.