Un grupo de investigadores de las universidades de Stanford y California-Berkeley ha sorprendido a la comunidad científica al publicar un estudio no revisado en el que señalan cambios significativos en el rendimiento de los modelos de lenguaje de gran tamaño de OpenAI, conocidos como ChatGPT.
¿Qué es ChatGPT?
Para entender el estudio, es esencial saber que ChatGPT es un modelo de lenguaje que utiliza la inteligencia artificial para generar respuestas a consultas de texto. Estos modelos se usan ampliamente en aplicaciones de chat y asistentes virtuales.
Descubrimientos alarmantes
Los resultados del estudio mostraron que, en un período de solo tres meses, de marzo a junio de 2023, los modelos LLMs de OpenAI se volvieron menos eficientes en la identificación de números primos y en mostrar su proceso de pensamiento paso a paso. Además, se observó un incremento en los errores de formato en el código generado por los mismos.
Estos cambios han sido descritos por los investigadores como «deriva LLM» (LLM drift), un nuevo término que hace referencia a las variaciones en el comportamiento de los LLMs a lo largo del tiempo.
Respuestas encontradas
Los hallazgos han recibido una respuesta mixta. Algunos críticos han argumentado que los cambios representan variaciones en el comportamiento más que una disminución en las habilidades del modelo, cuestionando la metodología del estudio. Sin embargo, otros han aplaudido el estudio, ya que corrobora sus experiencias con cambios en la salida de AI.
Necesidad de vigilancia y transparencia
El estudio subraya la importancia de una mayor transparencia y vigilancia en el funcionamiento de los LLMs. Los investigadores han destacado que la falta de información de OpenAI sobre cómo se actualizan sus modelos puede conducir a inconvenientes si estos cambios repentinos y no comunicados afectan los flujos de trabajo de las empresas que dependen de estos modelos.
OpenAI responde
Ante los hallazgos del estudio, OpenAI ha expresado su agradecimiento a aquellos que han compartido sus experiencias y ha asegurado que están investigando activamente los problemas reportados. Además, ha reafirmado su compromiso de notificar a sus usuarios sobre cualquier cambio en sus APIs de GPT.
En última instancia, este estudio pone de manifiesto que, a medida que la inteligencia artificial y los modelos de lenguaje avanzan, es crucial que también lo hagan nuestros métodos para evaluar, controlar y comprender estos cambios. Solo a través de la transparencia y la vigilancia podremos garantizar que estas herramientas continúen sirviendo a nuestros propósitos y necesidades de manera efectiva y segura.
Más información en reddit.com