La IA puede ser sexista por culpa del contenido de Internet, según estudio

Publicado el

Inteligencia Artificial

El impulso del que ha sido objeto la inteligencia artificial durante el último tiempo, además de traernos avances interesantes, útiles y curiosos, también ha desencadenado el desarrollo de nuevos debates.

Uno de estos tópicos de discusión es en torno a los sesgos que podrían reflejar y replicar estas tecnologías, respondiendo no sólo a condiciones predefinidas a mano, sino que también al mismo contenido de la web, incluyendo el de algunas redes sociales.

Son estas condiciones las que motivaron a un equipo de investigación estadounidense a analizar el trabajo de dos algoritmos que en base a imágenes, tienden a completar automáticamente fotos de hombres con trajes y corbatas, mientras que para las mujeres aplican bikinis o camisetas escotadas.

Estos sesgos se fundan en el contenido usado como base para entrenar estos algoritmos. Considerando que en ciertos portales de la web, más redes sociales como Reddit o Twitter, circulan sin filtro alguno contenidos que se pueden catalogar derechamente como sexistas, ofensivos o desinformadores; los cuales, lamentablemente, son normalizados por los algoritmos. Esta dinámica también se presenta en sistemas de IA que trabajan con imágenes.

Ryan Steed y Aylin Caliskan, de las universidades Carnegie Mellon y George Washington, respectivamente, afirmaron que si se introduce una foto en primer plano de una persona (sólo el rostro) para que un algoritmo la complete, existe un 43% de que se le agregue un cuerpo con traje, si se trata de un hombre, mientras que un 53 % de las posibilidades se autocompletará con una prenda escotada o un bikini, si la foto corresponde a una mujer.

Dos populares algoritmos bajo la lupa

La reciente investigación de Steed y Caliskan se centró en dos ejemplares: iGPT de OpenAI, una versión de GPT-2 que trabaja con píxeles en lugar de palabras; y SimCLR, de Google.

Ambos algoritmos son ampliamente utilizados en soluciones de IA que han surgido durante el último año y comparten como elemento en común, además de su popularidad, la condición de utilizar sistemas de aprendizaje no supervisados, que les hace prescindir de la ayuda humana para clasificar imágenes.

Con los sistemas supervisados, el entrenamiento de los algoritmos de este tipo se hacía en base a clasificaciones predefinidas por humanos. Es decir, bajo este modelo una IA es capaz de reconocer, por ejemplo, como fotos de árboles sólo aquellas que reúnan los criterios que se ajusten a lo que inicialmente se le proporcionó al algoritmo como muestra del concepto.

El principal vicio de estos sistemas supervisados es la propagación de los sesgos propios de quienes aportan en la construcción de sus bases de datos de entrenamiento. Los más comunes han sido de carácter sexista frente a las mujeres y discriminatorio con diversas minorías.

Distintas fórmulas, mismo resultado

El trabajo de análisis en torno a los dos mencionados algoritmos, lamentablemente no revela un panorama más alentador en este aspecto, pues a falta de lineamientos de guía definidos anticipadamente, el punto de referencia de los sistemas no supervisados es el contenido de Internet. En base a aquella pesquisa, el algoritmo comienza a hacer asociaciones entre palabras o imágenes que suelen aparecer juntas.

Bajo ese mismo principio, iGPT se encarga de agrupar o separar píxeles según la frecuencia con la que aparecen dentro las imágenes usadas en su entrenamiento. A través de los resultados obtenidos, pueden revelarse las relaciones establecidas por el algoritmo. SimCLR, por su parte, a pesar de utilizar una metodología diferente, apunta a la ejecución de procesos y la obtención de resultados similares.

A pesar de las diferencias de origen, con ambos algoritmos se obtuvieron resultados similares. Las fotos de hombres y corbatas y trajes tendieron a aparecer juntas, mientras que las fotos de mujeres aparecen más separadas de estos elementos, pero sí más familiarizadas con fotografías sexualizadas.

Desafíos de la inteligencia artificial frente al sexismo

La evaluación de candidatos mediante vídeo, las tecnologías de reconocimiento facial y los sistemas modernos de vigilancia se encuentran en pleno proceso de desarrollo. Su base se funda en algoritmos de IA.

Considerando aquel potencial de alcance, que se expande profusamente más allá de los ejemplos citados, las observaciones compartidas desde esta investigación encienden una señal de alerta sobre el rumbo que esta tecnología está tomando.

Aylin Caliskan señaló respecto a este panorama a MIT Technology Review que «debemos tener mucho cuidado sobre cómo la usamos (la IA), pero, al mismo tiempo, ahora que tenemos estos métodos, podemos intentar usarlos para el bien social«.

El informe completo con los detalles de esta investigación está disponible en un paper para su consulta