En un estudio reciente publicado en la revista PLOS Digital Health, un equipo de investigadores sometió a evaluación el rendimiento de ChatGPT en el Examen de Licencias Médicas de los Estados Unidos (USMLE).
Este examen consiste en tres pruebas altamente reguladas y estandarizadas, que evalúan el conocimiento en una amplia gama de disciplinas médicas, y es requisito para obtener la licencia médica en el país norteamericano.
ChatGPT demuestra el potencial de la IA en el campo de la medicina
ChatGPT uno de los recursos más populares del útlimo tiempo, que toma como base los recursos de una inteligencia artificial avanzada conocida como modelo de lenguaje grande (Large Language Model o LLM), diseñada para generar dentro de una interfaz conversacional, textos similares a las respuestas de un humano, a través de la predicción de secuencias de palabras. A diferencia de la mayoría de los chatbots, ChatGPT no tiene acceso a Internet y genera sus textos a partir de las relaciones entre palabras previamente aprendidas.
Los autores evaluaron a ChatGPT en 350 de las 376 preguntas públicas disponibles en el Examen de Licencias Médicas de junio de 2022, después de excluir únicamente las preguntas basadas en imágenes. Luego de eliminar las respuestas inciertas, ChatGPT obtuvo una puntuación de entre el 52,4% y el 75,0% en los tres exámenes USMLE, superando el umbral de aprobación que es de aproximadamente el 60%. ChatGPT también demostró una concordancia del 94,6% en sus respuestas y produjo al menos una idea significativa en el 88,9% de sus respuestas.
“Alcanzar la puntuación de aprobación para este examen experto notoriamente difícil, y hacerlo sin ningún refuerzo humano, marca un hito notable en la maduración clínica de la IA”, dijeron los autores de este estudio en su reporte de resultados.
Los investigadores destacaron que, aunque el tamaño de la entrada fue limitado, estos hallazgos sugieren que ChatGPT tiene un gran potencial para mejorar la educación médica y, en última instancia, la práctica clínica. De hecho, los médicos de AnsibleHealth, una plataforma de telemedicina involucrada en este estudio, ya están utilizando ChatGPT para simplificar informes clínicos atiborrados de jerga, para mejorar la comprensión de los pacientes que los reciben.
Junto con valorar los hallazgos de este estudio, la Dra. Tiffany Kung, integrante del equipo tras esta investigación, destacó que ChatGPT no solo fue objeto de estudio, sino que también contribuyó significativamente a la redacción del manuscrito en el que se reportaron los resultados, interactuando con los autores como un colega.