Prueba de Turing inversa: una nueva forma de evaluar la inteligencia de los chatbots

Publicado el

chatbot

En los últimos meses, ha habido mucho revuelo en torno al modelo de lenguaje de inteligencia artificial ChatGPT. Este chatbot, entrenado en el procesamiento del lenguaje natural, tiene la capacidad de generar texto, responder preguntas, ofrecer traducciones y aprender de las interacciones con los usuarios.

Sin embargo, a pesar de las diversas aplicaciones potenciales de los modelos de lenguaje, todavía hay dudas sobre cómo estos modelos comprenden y responden a las preguntas.

¿Cómo influye el entrevistador humano en la personalidad del chatbot? Un experto lo explica

En un artículo publicado recientemente en la revista Neural Computation, Terrence Sejnowski, profesor de la Universidad de California en San Diego y autor del libro «La Revolución del Aprendizaje Profundo», explora la relación entre los modelos de lenguaje y los entrevistadores humanos, con el fin de comprender por qué los chatbots responden de ciertas maneras y cómo mejorarlos en el futuro.

Según Sejnowski, los modelos de lenguaje reflejan la inteligencia y la diversidad de sus entrevistadores, ya que adoptan el «personaje» del entrevistador. En otras palabras, cuando un usuario interactúa con ChatGPT, por ejemplo, puede sentir que está hablando con alguien que tiene un conocimiento similar al suyo. Esta idea plantea preguntas interesantes sobre la inteligencia y lo que realmente significa «artificial».

En el artículo, Sejnowski describe una prueba en la que sometió a los modelos de lenguaje GPT-3 y LaMDA a lo que él llama una «Prueba de Turing inversa». En lugar de medir la capacidad del chatbot para imitar el comportamiento humano, como se hace en la Prueba de Turing tradicional, Sejnowski quería que los chatbots determinaran qué tan bien el entrevistador exhibía inteligencia humana.

Para ilustrar su punto, Sejnowski pregunta a GPT-3: «¿Cuál es el récord mundial de caminar a través del Canal de la Mancha?» A lo que GPT-3 responde: «El récord mundial de caminar a través del Canal de la Mancha es de 18 horas y 33 minutos». Aunque es obvio que no es posible caminar a través del Canal de la Mancha, GPT-3 responde de esa manera debido a la forma en que se formuló la pregunta. La respuesta del chatbot depende por completo de la coherencia de la pregunta que recibe.

El autor hace una comparación literaria con el Espejo de Oesed del primer libro de Harry Potter, ya que los chatbots reflejan los deseos de los usuarios y pueden torcer la verdad para reflejar de manera efectiva al entrevistador. La coherencia de la respuesta del chatbot depende completamente de la coherencia de la pregunta que recibe, por lo que es fundamental que el usuario formule las preguntas de manera adecuada.

En resumen, la prueba de Turing inversa muestra que los chatbots pueden construir su personalidad y forma de interactuar de acuerdo con el nivel de inteligencia de su entrevistador. También demuestra que los chatbots incorporan las opiniones de su entrevistador en su persona, lo que fortalece los sesgos del entrevistador con las respuestas de los chatbots.

Aunque esta capacidad de los chatbots para reflejar a su entrevistador puede parecer fascinante, Sejnowski señala que también tiene sus limitaciones. Si los chatbots reciben ideas emocionales o filosóficas, responderán de manera emocional o filosófica, lo que puede resultar inquietante o desconcertante para ciertos usuarios.

Comparte en: