En los últimos años, las grandes empresas tecnológicas han mostrado avances significativos en áreas como el procesamiento del lenguaje, la predicción de datos y la personalización. Sin embargo, siguen enfrentando dificultades en la detección y eliminación efectiva de contenido perjudicial en sus plataformas. Este desafío se vuelve más relevante cuando recordamos cómo teorías conspirativas sobre elecciones y vacunas han causado daño real en los Estados Unidos. Entonces, surge la pregunta: ¿por qué las empresas tecnológicas no han mejorado en la moderación de contenido? ¿Pueden ser obligadas a hacerlo? ¿Y cómo pueden los avances en inteligencia artificial mejorar nuestra capacidad para combatir la desinformación?
Este tema lo ha tratado recientemente Tate Ryan-Mosleyarchive en technologyreview.com, artículo que vale la pena leer y que aquí os comento.
La complejidad del lenguaje y las limitaciones de la inteligencia artificial
Cuando las compañías como Meta, Twitter, Google o TikTok han sido cuestionadas por difundir odio y desinformación, a menudo argumentan que la complejidad inherente del lenguaje dificulta la interpretación de discursos de odio en diferentes idiomas y a gran escala. Ejecutivos de estas empresas sostienen que no deberían ser responsables de resolver todos los problemas políticos del mundo.
Las empresas actualmente utilizan una combinación de tecnología y moderadores humanos para combatir el contenido perjudicial. Por ejemplo, en Facebook, la inteligencia artificial detecta el 97% del contenido eliminado de la plataforma. Sin embargo, la inteligencia artificial no es eficiente en la interpretación de matices y contexto, lo cual también es un desafío para los moderadores humanos, quienes no siempre son buenos en la interpretación de estos aspectos.
La complejidad cultural y lingüística también presenta desafíos, ya que la mayoría de los sistemas automáticos de moderación de contenido fueron entrenados principalmente con datos en inglés y no funcionan adecuadamente con otros idiomas.
¿Intereses económicos o falta de regulación?
Hany Farid, profesor de la Escuela de Información de la Universidad de California, Berkeley, ofrece una explicación más obvia. Según él, la moderación de contenido no ha avanzado lo suficiente debido a la falta de interés económico por parte de las empresas tecnológicas. Afirma que todo se reduce a la avaricia y que debemos dejar de pretender que se trata de algo distinto al dinero. Por otro lado, la falta de regulación federal en los Estados Unidos dificulta que las plataformas sean responsables financieramente por el abuso en línea.
La moderación de contenido parece ser una guerra interminable entre las empresas tecnológicas y los actores maliciosos. Las compañías establecen reglas para supervisar el contenido, pero los actores malintencionados encuentran formas de evadirlas, como utilizar emojis o errores ortográficos deliberados para evitar la detección. Luego, las empresas intentan cerrar estas brechas, pero los perpetradores encuentran nuevas formas de evadir las reglas, y cuando son bloqueados gritan CENSURA con todas las letras.
La irrupción de los modelos de lenguaje generativo
La llegada de la inteligencia artificial generativa y los modelos de lenguaje grandes como ChatGPT plantea nuevos desafíos para la moderación de contenido. Estos modelos han mejorado significativamente en su capacidad para interpretar el lenguaje, pero también presentan riesgos. Por un lado, los actores maliciosos podrían utilizar la IA generativa para llevar a cabo campañas de desinformación a gran escala y a mayor velocidad. Esto representa una perspectiva preocupante, especialmente dada la falta de métodos efectivos para identificar y etiquetar contenido generado por IA.
Por otro lado, los nuevos modelos de lenguaje grandes tienen una mejor capacidad para interpretar el texto en comparación con los sistemas de IA anteriores. En teoría, podrían utilizarse para mejorar la moderación automatizada de contenido. Sin embargo, esto requeriría que las empresas inviertan en adaptar estos modelos a ese propósito específico. Aunque algunas compañías, como Microsoft, han comenzado a investigar en esta área, aún no se han observado avances significativos.
Herramientas nuevas para una tecnología nueva
Para abordar el problema del contenido generado por IA, es necesario desarrollar herramientas efectivas que puedan detectar y etiquetar dicho contenido. Técnicas como el marcaje digital (digital watermarking), que inserta un código para indicar que el contenido fue generado por inteligencia artificial, se han propuesto como una posible solución. También se han mencionado firmas criptográficas que registran información sobre el origen del contenido. Sin embargo, estas técnicas aún enfrentan desafíos en términos de implementación y precisión.
El nuevo proyecto de ley de la Unión Europea sobre IA requiere que las empresas informen a los usuarios cuando el contenido es generado por máquinas. Es probable que en los próximos meses se escuche más acerca de herramientas emergentes para detectar contenido generado por IA, ya que aumenta la demanda de transparencia en este ámbito.
Lo que está claro es que la moderación de contenido sigue siendo un desafío complejo y en constante evolución para las empresas tecnológicas. Si bien existen avances en inteligencia artificial y modelos de lenguaje, la interpretación de contextos y matices sigue siendo un obstáculo. Es fundamental que las empresas tecnológicas inviertan en herramientas y enfoques robustos para combatir el contenido perjudicial, pero eso cuesta dinero, y hay que hacer sonreír primero a los inversores.