En los últimos meses, la inteligencia artificial (IA) ha ocupado titulares, y no es para menos. Herramientas como ChatGPT han demostrado un rendimiento impresionante en diversas tareas, pero ¿están realmente listas para desempeñar funciones críticas en áreas especializadas, como las finanzas? Un estudio reciente liderado por la Universidad Estatal de Washington (WSU) arroja luces sobre esta cuestión, y los resultados son reveladores.
Rendimiento en exámenes financieros
El equipo de investigación analizó más de 10,000 respuestas generadas por modelos de lenguaje como ChatGPT, BARD y Llama al enfrentarse a preguntas de exámenes de licencias financieras. Estos exámenes, como el Securities Industry Essentials o las pruebas Series 6, 7, 65 y 66, son ampliamente utilizados para certificar a profesionales en el sector financiero.
Aunque los modelos lograron resultados notables en preguntas de múltiple opción, también se les pidió justificar sus respuestas con explicaciones detalladas. Aquí es donde empezaron a surgir las limitaciones. Aunque ChatGPT, especialmente su versión paga (4.0), lideró el grupo con un rendimiento entre 18 y 28 puntos porcentuales más alto que los demás, todavía presentó errores significativos en tareas complejas.
¿Dónde destaca ChatGPT y dónde tropieza?
Según los investigadores, ChatGPT se desempeñó bien en tareas generales, como revisar transacciones de valores o monitorear tendencias del mercado financiero. Esto no es sorprendente, ya que el modelo tiene acceso a grandes cantidades de información bien documentada en línea. Sin embargo, cuando se trató de temas específicos y más complejos, como determinar el estado fiscal de un cliente o su cobertura de seguros, las respuestas fueron menos precisas.
En mi opinión, esto ilustra una debilidad clave de los modelos de IA actuales: aunque pueden sintetizar información existente de manera efectiva, no tienen la capacidad de comprender completamente contextos específicos o resolver situaciones únicas con la misma precisión que un profesional experimentado.
El impacto de ajustes y entrenamientos adicionales
Una parte interesante del estudio fue el ajuste de la versión gratuita de ChatGPT 3.5. Al alimentar al modelo con ejemplos de respuestas correctas y explicaciones, su rendimiento mejoró considerablemente, llegando a competir con ChatGPT 4.0 e incluso superándolo en algunos casos.
Esto subraya una oportunidad importante: con el entrenamiento adecuado, las herramientas de IA pueden ser refinadas para desempeñar tareas específicas con mayor eficacia. Sin embargo, esto también implica una inversión significativa de tiempo y recursos, algo que muchas organizaciones deberán considerar cuidadosamente antes de adoptar estas tecnologías de manera generalizada.
Nuevos experimentos en marcha
Los investigadores continúan explorando los límites y las capacidades de ChatGPT. En un proyecto en curso, están evaluando si el modelo puede analizar acuerdos de fusiones empresariales. Para ello, utilizan datos de fusiones ocurridas después de septiembre de 2021 (fecha límite de entrenamiento de ChatGPT). Los resultados preliminares indican que el modelo todavía no está listo para tareas tan complejas.
Desde WWWhatsnew creemos que este tipo de experimentos son fundamentales para entender no solo lo que estas herramientas pueden hacer, sino también sus limitaciones. Esto es crucial para evitar expectativas irreales y asegurar que la IA se utilice como un complemento, no como un reemplazo indiscriminado de los profesionales humanos.
¿Qué significa esto para el futuro laboral en las finanzas?
Una de las conclusiones más interesantes del estudio es que la IA podría cambiar la manera en que las instituciones financieras emplean a analistas junior. Tradicionalmente, estos roles implican tareas repetitivas y de bajo nivel que ahora podrían ser realizadas por herramientas como ChatGPT. Esto no significa que la IA sea mejor que los analistas humanos, sino que las empresas podrían reconsiderar cómo estructuran sus equipos.
En mi opinión, esto podría abrir nuevas oportunidades para los profesionales del sector. Si las herramientas de IA asumen las tareas más monótonas, los analistas podrían enfocarse en actividades más estratégicas y creativas. Sin embargo, también podría implicar una reducción en el número de puestos de entrada, lo que subraya la importancia de adaptarse a un entorno laboral en constante evolución.
Aunque herramientas como ChatGPT han avanzado notablemente, todavía están lejos de reemplazar por completo a los profesionales humanos en el área de las finanzas. Como hemos mencionado en varias ocasiones en WWWhatsnew, estas tecnologías tienen un gran potencial como herramientas de apoyo, pero su uso requiere precaución y un entendimiento claro de sus limitaciones.
El futuro de la colaboración entre humanos e IA en el sector financiero promete ser emocionante, pero también plantea retos que no deben subestimarse. La clave estará en encontrar un equilibrio que permita aprovechar lo mejor de ambos mundos.