En medio del auge generativo de la IA y en el período previo a las elecciones presidenciales de EE. UU. de 2024, OpenAI está tomando medidas para abordar el creciente problema de la desinformación generada por los sistemas de IA.
La compañía anunció una nueva estrategia para entrenar modelos de inteligencia artificial, con el objetivo de combatir las llamadas «alucinaciones» de la IA, es decir, la fabricación de información falsa por parte de los modelos.
El éxito de ChatGPT, la inversión de Microsoft en OpenAI y las preocupaciones sobre las alucinaciones de la IA
OpenAI aceleró el auge de la IA generativa el año pasado con el lanzamiento de ChatGPT, su chatbot impulsado por los modelos GPT-3 y GPT-4. Según reportes, ChatGPT alcanzó más de 100 millones de usuarios mensuales en tan solo dos meses, estableciendo un récord para la aplicación de más rápido crecimiento. Además, OpenAI ha recibido una inversión de más de $ 13 mil millones por parte de Microsoft, lo que ha elevado el valor de la compañía a aproximadamente $ 29 mil millones.
Bajo este contexto de crecimiento, las alucinaciones de IA se han convertido en un tema candente, especialmente después de casos en los que modelos como ChatGPT y Bard han fabricado información falsa. Estas alucinaciones pueden tener consecuencias graves, como el citar casos falsos en presentaciones legales o difundir información errónea sobre eventos importantes. Los investigadores de OpenAI reconocen que incluso los modelos de última generación son propensos a cometer estos errores y argumentan que es fundamental abordar este problema para lograr una inteligencia artificial más confiable y capaz de resolver problemas de razonamiento complejos.
La estrategia de «supervisión de procesos» de OpenAI
La nueva estrategia propuesta por OpenAI para combatir las alucinaciones de la IA se basa en el concepto de «supervisión de procesos». En lugar de simplemente recompensar una conclusión final correcta, los modelos de IA se entrenan para recompensarse a sí mismos por cada paso correcto de razonamiento que dan hacia una respuesta. Esto tiene como objetivo fomentar un enfoque de «pensamiento» más similar al humano y hacer que los modelos sean más explicables.
Los investigadores de OpenAI consideran que la detección y mitigación de los errores lógicos de los modelos de IA es un paso crítico para construir una inteligencia artificial general alineada con los valores humanos. Si bien OpenAI no fue la primera en proponer la supervisión de procesos, la compañía está contribuyendo a impulsar esta estrategia para mejorar la capacidad de razonamiento de los modelos de IA y reducir las alucinaciones.
Aunque la estrategia propuesta por OpenAI ha despertado interés, algunos expertos expresan escepticismo y destacan la importancia de una revisión minuciosa. También se plantean preocupaciones sobre la transparencia de los datos utilizados para entrenar los modelos de IA.
OpenAI ya ha publicado un conjunto de datos de 800,000 etiquetas humanas. No obstante, se requerirá una mayor rendición de cuentas y claridad para garantizar la confiabilidad de estos sistemas.
La desinformación generada por los sistemas de IA, ya sea a través de estas alucinaciones espontáneas o mediante acciones directamente planificadas con tal fin, son un claro signo de la necesidad de más revisiones y transparencia para garantizar la fiabilidad y la responsabilidad de estos sistemas.