Si bien la inteligencia artificial ha proporcionado tanto a personas como empresas la posibilidad de optimizar sus tareas y aumentar su productividad, esta herramienta también ha estado siendo aprovechada de forma malintencionada.
Ya en el pasado vimos como los generadores de imágenes de IA podían ser usados para crear material pornográfico a partir de rostros famosos, pero la cosa va más allá.
Pues ahora parece que alguien tomo la iniciativa de utilizar voces de personas famosas para manipularlas y hacerlas expresar mensajes de odio y discriminación.
Todo comenzó con ElevenLabs, una empresa situada en el Reino Unido que realizó el lanzamiento de una herramienta denominada Prime Voice AI.
Transcurridas algunas semanas de este hecho, hubo usuarios que comenzaron a reportar la existencia de audios despectivos creados con esta herramienta y que replicaban voces de personas reales.
En ese sentido se descubrió que los audios habían sido hechos por un grupo de usuarios de 4Chan a partir de voces falsificadas de artistas y personalidades del internet como Joe Rogan y Robbin Williams.
Entre los audios creados por usuarios de 4Chan se encuentra uno con la voz de Emma Watson leyendo un fragmento del libro Mein Kampf.
Por su parte, otro usuario de esta plataforma utilizó una voz similar a la del personaje de Rick de la serie Rick & Morty y la manipuló para que expresara como iba a golpear a su mujer, haciendo esto alusión a las recientes acusaciones de maltrato doméstico de las cuales ha sido objeto el cocreador de la serie.
Fue así como a través de un hilo de 4Chan se pudo observar una serie de clips de audio generados por esta IA en los cuales se expresaban opiniones de connotación misógina y transfóbica, usando para ello voces pertenecientes a personajes y narradores de animes y videojuegos.
Si bien la empresa había señalado que Voice Lab estaba siendo usada de forma positiva por una gran cantidad de usuarios, señaló que también estaban al tanto de la existencia de los casos donde se estaba haciendo un uso inadecuado de la herramienta, aunque se abstuvo de señalar directamente a 4Chan.
Ante esto ElevenLabs ha estado contemplando la aplicación de algunas medidas como la implementación de un proceso de verificación de la cuenta o anular la versión gratuita de Voice Lab, lo cual haría necesaria una verificación manual de cada solicitud de clonación.