Hoy en día, vivimos en un mundo digital que, lamentablemente, también ha traído consigo nuevas formas de abuso. Uno de los temas más preocupantes que está ganando terreno es el uso de bots de inteligencia artificial (IA) en aplicaciones de mensajería como Telegram, que permiten crear imágenes pornográficas falsas con facilidad y rapidez. Estos bots, también conocidos como «bots de desnudez» o «nudify bots», han sumado más de 4 millones de usuarios mensuales, y el problema parece estar lejos de solucionarse.
Lo comentan en la BGR:
¿Qué son estos bots y cómo funcionan?
Estos bots de IA permiten a los usuarios generar imágenes explícitas de cualquier persona al cargar una foto en la que se eliminan digitalmente las prendas de vestir o, en algunos casos, se crean imágenes más gráficas. Lo más preocupante es que, aunque muchos usuarios pueden pensar que solo están manipulando imágenes inofensivas, estos bots facilitan la creación de deepfakes no consensuados, lo que amplifica el daño a las víctimas involucradas.
Es muy fácil de usar. Solo necesitas cargar una foto en el bot y, en cuestión de segundos, la IA genera una imagen falsa. Por ejemplo, puedes encontrar bots en Telegram donde los usuarios suben fotos comunes, y en pocos clics, obtienen versiones modificadas con fines explícitos.
El impacto de estos bots
Uno de los aspectos más alarmantes es la escalabilidad. Con más de 50 bots activos en Telegram y comunidades dedicadas que los promueven, la facilidad con la que estos bots generan contenido explícito plantea serios desafíos. La misma investigación de Wired descubrió al menos 25 canales que ofrecen tokens o accesos para utilizar estos bots. Estos canales también actualizan a los usuarios con nuevas funciones, lo que indica que el problema está lejos de resolverse.
Uno de los ejemplos más recientes es el caso de un bot que, desde 2020, ha creado más de 100.000 imágenes explícitas, muchas de ellas de personas menores de edad. Aunque Telegram ha removido varios bots después de que estos casos salieran a la luz, los usuarios simplemente encuentran otras formas de acceder a bots similares.
Telegram: ¿qué está haciendo la plataforma?
Uno de los puntos clave aquí es el rol de Telegram. La plataforma ha sido criticada por su enfoque «relajado» hacia la moderación de contenido, permitiendo la proliferación de estos bots sin una regulación clara. Aunque han tomado algunas medidas, como la eliminación de ciertos canales y bots en los últimos meses, la verdad es que el problema sigue creciendo.
Telegram tiene una estructura que facilita la creación de estos bots, lo que agrava la situación. Al ofrecer funciones de búsqueda y la capacidad de alojar bots en la plataforma, Telegram ha permitido que estos bots se compartan, se operen y se encuentren sin mucha supervisión.
Un ejemplo de esta falta de acción ocurrió en agosto de 2024, cuando el CEO de Telegram, Pavel Durov, fue arrestado en Francia en relación con investigaciones sobre abuso de menores. A pesar de este incidente, los deepfakes y los bots que generan contenido explícito continúan proliferando en la plataforma.
¿Qué pueden hacer los usuarios?
En mi opinión, una de las cosas más preocupantes es que muchos usuarios no se dan cuenta de la gravedad del asunto hasta que ya es demasiado tarde. Es fácil caer en la trampa de pensar que estas herramientas son «solo tecnología», sin considerar el impacto real que tienen en la vida de las personas. Si eres usuario de Telegram o de cualquier otra plataforma de mensajería, es importante que seas consciente de lo que consumes y compartes.
La creación de deepfakes no consensuados es una violación grave de la privacidad y la integridad de una persona. De hecho, algunos activistas y grupos como #NotYourPorn, han resaltado los efectos devastadores que estas imágenes tienen en las víctimas. A menudo, estas personas no tienen forma de detener la propagación de estas imágenes una vez que están en internet. Y en plataformas como Telegram, que tienen menos control que otras redes sociales, la lucha por eliminar ese contenido se vuelve aún más difícil.
El futuro de la moderación en plataformas
Yo creo que las plataformas de mensajería como Telegram tienen una gran responsabilidad. Aunque han dado algunos pasos para moderar contenido, está claro que necesitan implementar medidas mucho más estrictas. No se trata solo de prohibir bots o eliminar canales; se trata de establecer un sistema robusto que prevenga la creación y distribución de contenido dañino desde el principio.
En WWWhat’s new, a menudo hemos discutido temas relacionados con deepfakes y las implicaciones éticas de la tecnología. Es crucial que, como usuarios y creadores de contenido, estemos informados y tomemos decisiones conscientes sobre el uso de estas tecnologías. El crecimiento de los deepfakes no es solo un problema tecnológico, es un desafío para nuestra sociedad y nuestras leyes.
Ejemplos de uso y su impacto
En términos prácticos, imagina que eres una persona común, compartes una foto inocente en un chat de amigos, y sin saberlo, alguien más la sube a uno de estos bots. En cuestión de minutos, tu imagen está siendo distribuida de manera explícita y completamente falsa. Las repercusiones psicológicas y emocionales de algo así son enormes, y las víctimas a menudo se sienten impotentes para detener la difusión de estas imágenes.
Otro ejemplo es cómo los ciberdelincuentes están aprovechando esta tecnología para propagar malware a través de sitios web falsos que imitan estos bots. No solo estás exponiendo tu privacidad, sino también tu seguridad digital.
Reflexión final
A medida que avanzamos en esta era digital, es evidente que la tecnología está evolucionando más rápido de lo que nuestras leyes y regulaciones pueden seguir el ritmo. En mi opinión, es necesario que las plataformas como Telegram tomen un papel más activo en la moderación de contenido y que los usuarios sean más conscientes del impacto que el mal uso de la IA puede tener en la vida real.
Las tecnologías de deepfake son una de las innovaciones más potentes y peligrosas de los últimos años, y solo el tiempo dirá hasta qué punto podremos controlarlas. Mientras tanto, lo mejor que podemos hacer es estar informados, ser conscientes y exigir mejores prácticas por parte de las plataformas que utilizamos.