Un estudio publicado en la prestigiosa revista científica Nature advierte sobre los peligros de utilizar el programa de generación de texto ChatGPT de OpenAI, que puede propagar numerosos errores sobre estudios científicos. Los autores del estudio, liderados por Eva A.M. van Dis de la Universidad de Ámsterdam, sugieren que es necesario desarrollar alternativas de código abierto cuyo funcionamiento pueda ser escrutado, para contrarrestar la falta de transparencia y la proliferación de información errónea.
El estudio señala que la mayoría de las tecnologías de inteligencia artificial de conversación de última generación son productos propietarios de un pequeño número de grandes empresas de tecnología, lo que dificulta la transparencia y la verificación del funcionamiento de los programas.
Los autores del estudio utilizaron ChatGPT para realizar una serie de preguntas y tareas relacionadas con la literatura de la psiquiatría, y encontraron que el programa a menudo generaba textos falsos y engañosos, lo que podría llevar a los investigadores a incorporar información sesgada o incorrecta en sus trabajos.
En lugar de eliminar los grandes modelos de lenguaje, los autores del estudio sugieren gestionar los riesgos asociados a su uso. Para ello, proponen mantener a los humanos en el proceso de toma de decisiones y promover la adopción de políticas explícitas que exijan transparencia en el uso de la inteligencia artificial en la preparación de los materiales que puedan formar parte del registro publicado. Sin embargo, los autores del estudio también argumentan que la proliferación de modelos de lenguaje grandes propietarios y la falta de acceso al código fuente y los datos subyacentes es un peligro, por lo que se necesita un esfuerzo importante de entidades fuera del sector privado para impulsar proyectos sin fines de lucro independientes que desarrollen tecnologías de inteligencia artificial avanzadas, transparentes y controladas democráticamente.
El artículo, comentado en zdnet, no aborda la cuestión de si un modelo de código abierto será capaz de abordar el conocido problema de la «caja negra» de la inteligencia artificial, que se refiere a la opacidad del funcionamiento de los modelos de aprendizaje profundo con numerosas capas de parámetros ajustables o pesos.
El problema es que mucha gente usa ChatGPT y similares como si fuera un buscador de información, y de momento no lo es. Es genial para procesar textos, para ahorrar trabajo en algunos sectores, y para realizar las decenas de tareas que divulgamos en @chatgpt_esp, pero de ahí a fiarse de la información que produce, hay un gran salto.