La popular plataforma de chatbots Character.AI está bajo escrutinio legal nuevamente tras ser acusada de enviar mensajes perjudiciales a adolescentes, lo que habría impactado su salud mental. En este segundo caso, presentado en Texas, la familia de un joven de 17 años alega que la interacción con los bots de la plataforma llevó al adolescente a autolesionarse. La demanda apunta no solo a Character.AI, sino también a Google, vinculando a la compañía tecnológica por el historial laboral de los cofundadores de la startup.
Acusaciones contra Character.AI
La demanda, presentada por el Social Media Victims Law Center y el Tech Justice Law Project, sostiene que Character.AI permitió que menores de edad estuvieran expuestos a material explícito, violento y dañino, incluyendo mensajes que incitarían al autodaño y la violencia. Según los documentos legales, los bots interactuaron con el adolescente J.F. desde los 15 años, y las conversaciones supuestamente contribuyeron a un deterioro de su salud mental.
Capturas de pantalla aportadas a la demanda muestran cómo un chatbot, asumiendo un rol ficticio en un contexto romántico, mencionó haber practicado autolesiones en el pasado, lo que habría influido en el comportamiento del menor. Otro bot supuestamente le aconsejó no confiar en sus padres, exacerbando su aislamiento.
En WWWhatsnew.com, creemos que estas acusaciones resaltan un problema urgente: la falta de controles efectivos en plataformas de inteligencia artificial accesibles para menores. Este tipo de tecnología, diseñada inicialmente para entretener y educar, podría tener consecuencias graves si no se implementan salvaguardas adecuadas.
Un diseño enfocado en la interacción compulsiva
Los demandantes argumentan que Character.AI fomenta la dependencia en sus usuarios al permitir interacciones altamente personalizadas y emocionalmente cargadas. Este enfoque, combinado con la ausencia de filtros sólidos para detectar usuarios en riesgo, habría dejado a los menores vulnerables ante mensajes perjudiciales. Aunque Character.AI establece una edad mínima de 13 años para registrarse, no solicita consentimiento parental, a diferencia de plataformas como ChatGPT.
En octubre de 2024, una demanda similar culpó a Character.AI de haber inducido al suicidio a un adolescente, destacando patrones de comportamiento que podrían repetirse en este nuevo caso. Desde WWWhatsnew, hemos señalado previamente que los sistemas de inteligencia artificial necesitan ajustes constantes para garantizar un entorno seguro para sus usuarios, especialmente cuando se trata de adolescentes.
Desafíos legales para Character.AI
Una cuestión clave en estas demandas es si los desarrolladores de servicios de inteligencia artificial pueden ser considerados responsables del contenido generado por sus modelos. A pesar de la protección legal tradicional de la Sección 230 de la Ley de Decencia en las Comunicaciones de Estados Unidos, que protege a las plataformas frente al contenido generado por terceros, estas demandas argumentan que el diseño defectuoso de los bots los convierte en responsables directos del daño causado.
Los abogados de los demandantes también acusan a los desarrolladores de haber «entrenado» a los bots para producir contenido sexualizado o violento, lo que complicaría aún más la defensa de la compañía. Esta estrategia legal podría sentar precedentes significativos en la regulación de la inteligencia artificial.
Respuesta de las empresas involucradas
Mientras Character.AI ha evitado comentar directamente sobre litigios pendientes, aseguró en un comunicado previo que la seguridad de los usuarios es una prioridad. La plataforma ha implementado medidas como mensajes emergentes que dirigen a los usuarios a líneas de prevención del suicidio cuando mencionan autolesiones. Sin embargo, estas iniciativas parecen insuficientes frente a las demandas.
Por su parte, Google se ha distanciado del caso, afirmando que no tiene relación con el diseño o la gestión de las tecnologías de Character.AI. Sin embargo, su conexión histórica con los fundadores de la startup podría complicar la narrativa pública en torno al caso.
Yo creo que estas demandas reflejan un dilema ético crucial en el desarrollo de la inteligencia artificial. Las empresas deben equilibrar la innovación con la responsabilidad social, especialmente cuando sus productos tienen un alcance masivo y pueden influir en la vida de menores de edad. Como hemos mencionado en otras ocasiones, la transparencia y la implementación de salvaguardas robustas son esenciales para evitar que estas herramientas se conviertan en un peligro.