HALT AI, una iniciativa que busca combatir los sesgos en la Inteligencia Artificial

Publicado el

inteligencia artificial

En base a los instrumentos que se usen en su entrenamiento, una IA puede cargarse de sesgos o someterse a errores. Es parte del riesgo de reproducir patrones, algo que hoy constituye un problema asumido en el medio.

HALT AI, un equipo de investigadores de esta tecnología, se planteó como objetivo medir estos sesgos en sistemas de inteligencia artificial, con el fin de aportar antecedentes para la búsqueda de soluciones.

Investigadores colaborando con la neutralidad y eficiencia de la IA

HALT AI fue presentado en mayo, como un servicio gratuito de análisis de sistemas de IA. La iniciativa la lidera Parham Aarabi, investigador de la Universidad de Toronto, Canadá, quien trabaja en colaboración con un equipo de empresarios y expertos en inteligencia artificial que, en conjunto, afirman tener en su haber más de 100 artículos académicos atingentes al área.

El trabajo de esta organización se dedica principalmente al análisis mediante pruebas de los sistemas de inteligencia artificial de terceros, sometiéndolos a diversos conjuntos de entrada. Los datos obtenidos se registran en un informe de diversidad, que proporciona un gráfico de diversidad para ciertas métricas clave, como dimensiones de diversidad sobre género, edad y raza. La retroalimentación señala las principales debilidades detectadas y sugiere mejoras para corregirlas.

Durante este primer período de actividad, el equipo de HALT AI ha realizado estudios con varios sistemas de inteligencia artificial populares, incluyendo algunos proyectos de Apple, Google y Microsoft.

En declaraciones recogidas por la Universidad de Toronto, Parham Aarabi señaló que durante esta etapa de trabajo con HALT AI descubrieron que “la mayoría de los equipos de IA no realizan una validación cuantitativa real de su sistema”. «Podemos decir, por ejemplo, ‘Mira, tu aplicación funciona con éxito en un 80% en hablantes nativos de inglés, pero solo en un 40% en personas cuyo primer idioma no es el inglés'», agregó el investigador, ejemplificando cómo la barrera idiomática puede repercutir desde el entrenamiento de un algoritmo, en el funcionamiento de un sistema de esta clase.

“En nuestras propias pruebas, encontramos que la IA de estimación de edad de Microsoft no funciona bien para ciertos grupos de edad”, comentó Aarabi, calando más hondo con sus ejemplos. “Lo mismo ocurre con los sistemas de voz a texto de Apple y Google: si tienes un dialecto determinado, un acento, pueden funcionar mal. Pero no sabe qué dialecto hasta que lo prueba. Las aplicaciones similares fallan de diferentes maneras, lo cual es interesante y probablemente indica el tipo y la limitación de los datos de entrenamiento que se usaron para cada aplicación», agregó.

Los inicios de HALT AI se remontan a inicios de este año, con investigadores del departamento de ingeniería eléctrica e informática de la Universidad de Toronto, quienes comenzaron a manifestar sus preocupaciones en torno al evidente sesgo de los sistemas de inteligencia artificial. Sin ir muy lejos, durante el último tiempo hemos comentado casos como el sexismo que se manifiesta en ciertos sistemas de IA, por influencia del contenido de Internet.

En mayo, el grupo incorporó expertos externos en diversidad del sector privado y el mundo académico. “Para comprender y medir verdaderamente el sesgo, no pueden ser solo unas pocas personas de la Universidad de Toronto. HALT es un grupo amplio de personas, incluidos los jefes de diversidad de las empresas Fortune 500, así como expertos en diversidad de inteligencia artificial de otras instituciones académicas como University College London y Stanford University», señaló el líder de esta iniciativa.

En la web de HALT AI es posible encontrar más información sobre las áreas de actividad de esta organización, conocer a su consejo asesor e incluso, enviar solicitudes de análisis sobre sistemas de IA propios o de terceros.