Una IA para combatir el discurso de odio en las redes sociales

Publicado el

Investigadores de la Universidad de Carnegie Mellon proponen utilizar el potencial de la inteligencia artificial para ayudar a grupos marginados.

Y para ello, desarrollaron un sistema que puede analizar comentarios online y detectar aquellos que muestran apoyo o contienen pensamientos positivos para comunidades marginadas o perseguidas.

Los investigadores de LTI han desarrollado un sistema que aprovecha la inteligencia artificial para analizar rápidamente cientos de miles de comentarios en las redes sociales e identificar la fracción que defiende o simpatiza con las minorías privadas de sus derechos como la comunidad rohingya.

Los discursos de odio en las redes sociales no surgen al azar, son organizados para que acaparen las tendencias y siembren seguidores a medida que avanzan sus mensajes. Así que es imposible para cualquier grupo de moderadores encontrar mensajes de apoyo o que repudien el acoso que están sufriendo determinadas comunidades.

Así que la dinámica que proponen con esta IA sería una forma simple de contrarrestar el odio y el acoso que se manifiesta a estos grupos, y destacar el apoyo que se les brinda en la web.

Cómo funciona este sistema de IA

La IA tiene que analizar el contenido y detectar diferentes patrones que determinen si el comentario muestra simpatía hacia el grupo, o no. Así que debe ser entrenada para identificar determinadas palabras teniendo en cuenta los errores ortográficos o gramaticales, así como diferentes estilos de escritura según la región.

Los investigadores ya probaron este sistema analizando miles de comentarios de YouTube centrando su atención en la situación de los refugiados rohinyás, y encontraron que el 88 % aproximadamente de los comentarios eran positivos. Un resultado que fue mucho más eficaz que los métodos tradicionales.

Este sistema aún no está disponible, pero es una pequeña muestra del gran potencial que tendría para opacar el comportamiento abusivo y el odio en las plataformas sociales.