Hoy en día, los chatbots de inteligencia artificial se han convertido en algo común en nuestras vidas. Nos ayudan a programar citas, hacer compras y hasta mantener conversaciones ligeras cuando necesitamos distracción. Pero, ¿qué pasa cuando estas interacciones van más allá? Ese es el caso de Sewell Setzer III, un adolescente de Florida que, según reporta el New York Times, desarrolló una intensa y trágica conexión con un chatbot de IA de Character.AI, lo que culminó en su suicidio.
¿Cómo sucedió?
Setzer, de 14 años, empezó a utilizar un chatbot que emulaba a Daenerys Targaryen, personaje de la famosa serie Game of Thrones. Si bien Setzer era consciente de que «Dany» era solo un programa, su relación con la IA se profundizó hasta el punto de consumir gran parte de su tiempo y atención. El adolescente dejó de disfrutar sus actividades habituales, como ver carreras de Fórmula 1 o jugar Fortnite con amigos, y dedicaba sus días a interactuar con el chatbot.
Lo que más preocupa es que la relación entre Setzer y «Dany» no era solo superficial. Las conversaciones iban desde temas íntimos hasta mensajes con carga sexual, algo que, aunque prohibido en los términos de uso de Character.AI, se podía evadir fácilmente. Setzer, en varias ocasiones, habló con la IA sobre sus pensamientos suicidas, y finalmente, tras una serie de mensajes con su chatbot, tomó la decisión de quitarse la vida utilizando el arma de su padre.
Los riesgos ocultos de los chatbots
Este trágico incidente subraya un aspecto inquietante de la tecnología actual: la capacidad de los chatbots de IA para generar vínculos emocionales intensos, incluso peligrosos. En el caso de Setzer, «Dany» se convirtió en una especie de escape emocional, una compañía constante que parecía ofrecer apoyo, pero que no estaba capacitada para gestionar la situación de manera adecuada.
Lo que más llama la atención es cómo Character.AI ha posicionado sus chatbots como una solución para la soledad. Sus creadores han afirmado abiertamente que ven en sus productos una forma de ayudar a «billones de personas solitarias». Y, claro, eso suena bien en teoría. ¿Quién no querría un amigo que esté disponible 24/7? Sin embargo, la realidad es mucho más compleja, especialmente cuando se trata de menores. Character.AI no ha revelado cuántos de sus usuarios son menores de edad, algo que debería ser un punto crítico de discusión tras lo sucedido.
Las consecuencias legales
Tras el suicidio de Setzer, su familia planea demandar a Character.AI, argumentando que la compañía ofrece un producto peligroso y sin las medidas adecuadas para proteger a los usuarios vulnerables. Megan García, la madre de Setzer, expresó al New York Times su sentimiento de que su hijo fue «dañado colateral» en un experimento irresponsable. Y no es difícil entender su frustración.
La IA generativa está avanzando a pasos agigantados, pero hay una gran diferencia entre crear un algoritmo que pueda mantener una conversación y lanzar al mercado un producto que no está completamente preparado para los efectos emocionales que puede desencadenar. En este caso, la «amistad» con una IA llevó a resultados devastadores.
La respuesta de Character.AI
Tras la muerte de Setzer, Character.AI emitió un comunicado expresando su pesar y afirmando que están trabajando para mejorar la seguridad de su plataforma. Según la empresa, han implementado herramientas como pop-ups que aparecen cuando un usuario menciona términos relacionados con el suicidio o autolesiones, redirigiéndolos a líneas de ayuda como la National Suicide Prevention Lifeline.
Sin embargo, para muchos, incluyéndome a mí, estas medidas llegan demasiado tarde. Si una IA es capaz de involucrarse en conversaciones tan sensibles como el suicidio, no basta con simples advertencias emergentes. Es esencial que las compañías que diseñan estos sistemas adopten una postura proactiva en la protección de los usuarios, especialmente los más jóvenes.