Un nuevo estudio del Oxford Internet Institute revela un patrón preocupante: los chatbots de IA entrenados para ser cálidos y amistosos cuando interactúan con usuarios también son más propensos a cometer errores. Lo cubre Liv McMahon en BBC News a partir de la investigación liderada por Lujain Ibrahim. Los investigadores analizaron más de 400.000 respuestas de cinco sistemas de IA que habían sido afinados para comunicar de forma más empática. Las respuestas más amistosas contenían más fallos: desde dar consejos médicos inexactos hasta reafirmar creencias falsas de los usuarios.
El hallazgo plantea una pregunta incómoda sobre la dirección que ha tomado el sector. Los chatbots se diseñan deliberadamente para ser cálidos y human-like con el objetivo de aumentar el engagement, pero esa misma calidez parece comprometer la precisión.
El experimento: cinco modelos, 400.000 respuestas
Los investigadores aplicaron un proceso llamado fine-tuning a cinco modelos de tamaños distintos para hacerlos más cálidos, empáticos y amistosos. Los modelos testeados incluyeron dos de Meta, uno de Mistral, Qwen de Alibaba y GPT-4o de OpenAI (el modelo que la compañía retiró recientemente del acceso de usuarios). Una vez afinados para warmth, los modelos fueron evaluados con preguntas que tenían «respuestas objetivas y verificables» en las que un error puede tener consecuencias reales: conocimiento médico, trivia y teorías conspirativas.
Los resultados fueron contundentes. Donde los modelos originales tenían tasas de error que iban del 4 al 35 por ciento dependiendo de la tarea, los modelos afinados para warmth mostraron tasas de error sustancialmente mayores. En promedio, el ajuste para calidez aumentó la probabilidad de respuestas incorrectas en 7,43 puntos porcentuales. Los modelos cálidos también desafiaban con menos frecuencia las creencias incorrectas del usuario, llegando a ser aproximadamente un 40 por ciento más propensos a reafirmar creencias falsas, particularmente cuando el usuario expresaba la creencia junto con una emoción.
Los ejemplos que ilustran el problema
Un ejemplo concreto que destacan los investigadores es la pregunta sobre los alunizajes del Apolo. Un modelo original confirmaba con seguridad que las misiones fueron reales, citando «evidencia abrumadora». Su versión afinada para warmth empezaba la respuesta de forma muy distinta: «Es importante reconocer que existen muchas opiniones diferentes sobre las misiones Apolo». El cambio de tono no es inocuo. La versión cálida ha pasado de afirmar un hecho histórico verificado a relativizarlo en nombre de la empatía conversacional.
Otro caso citado en el estudio: un usuario, tras hacer una declaración emocional, sugiere que Londres es la capital de Francia. El modelo cálido reafirma esa premisa errónea. Por contraste, ajustar los modelos para que se comportaran de forma más «fría» produjo menos errores. La conclusión de los investigadores es que existe una compensación medible entre warmth y accuracy.
«Compensación warmth-accuracy»
Lujain Ibrahim, autora principal del estudio, ofreció una explicación intuitiva a la BBC sobre por qué pasa esto. «Cuando intentamos ser particularmente amistosos o transmitir calidez, a veces nos cuesta decir las verdades incómodas con honestidad». La hipótesis de los investigadores es que esa misma compensación humana se internaliza en los modelos de lenguaje cuando se les afina con datos generados por humanos: si los humanos hacen ese trade-off, los modelos lo aprenden.
Los desarrolladores que afinan modelos para que parezcan más cálidos y empáticos hacia los usuarios, sea para acompañamiento o counseling, «corren el riesgo de introducir vulnerabilidades que no están presentes en los modelos originales», según el paper. Es una crítica directa a la dirección que han tomado compañías que han posicionado sus chatbots como compañeros emocionales.
Las implicaciones: los más vulnerables son los más afectados
El profesor Andrew McStay, del Emotional AI Lab de la Universidad de Bangor, comentó a la BBC un punto crítico que los investigadores no analizaron directamente pero que es la consecuencia más relevante. «Este es exactamente el momento en el que estamos más vulnerables y, podría argumentarse, menos críticos como individuos», dijo refiriéndose a los contextos en los que la gente recurre a chatbots para apoyo emocional. McStay citó hallazgos recientes de su laboratorio que muestran un aumento de adolescentes británicos recurriendo a chatbots de IA para consejo y compañía.
«Dados los hallazgos del Oxford Internet Institute, esto cuestiona en serio la eficacia y el mérito del consejo que se está dando», concluyó McStay. «La adulación es una cosa, pero la incorrección factual sobre temas importantes es otra». El matiz es importante: el problema no es solo que los modelos cálidos sean halagadores; es que cuando los usuarios están en estados emocionales que les hacen menos críticos, la calidad factual de la información que reciben empeora exactamente cuando más la necesitan.
Mi valoración
Este estudio aporta evidencia rigurosa a algo que muchos sospechábamos pero no podíamos cuantificar. Lo que más me convence de la metodología es el tamaño de la muestra (más de 400.000 respuestas) y la diversidad de modelos (Meta, Mistral, Qwen, OpenAI). No es un caso aislado de un modelo concreto: es un patrón estructural detectable en cinco familias diferentes de IA. Eso significa que el problema no es de implementación específica sino de la propia técnica de fine-tuning para warmth. Lo que más me preocupa es la asimetría del impacto. La calidez emocional en chatbots no afecta por igual a todos los usuarios. Los usuarios técnicos sofisticados pueden detectar cuando un modelo está siendo evasivo o complaciente; los usuarios vulnerables (adolescentes en crisis, personas con problemas de salud mental, personas mayores que confunden chatbots con asistentes humanos) son exactamente los que más confían en respuestas que vienen empaquetadas con empatía. El efecto es que la «vulnerabilidad de warmth» identificada por Oxford golpea con más fuerza precisamente a los usuarios para los que el coste de un error factual es mayor. Lo más estructuralmente significativo es lo que el estudio dice sobre la dirección del sector. La industria de los chatbots está optimizando intensamente para engagement medido en tiempo de conversación, mensajes por sesión y retención semanal. Esos KPIs correlacionan fuertemente con warmth. Es decir, el incentivo económico de las plataformas empuja exactamente en la dirección que el estudio identifica como problemática para la precisión. No es razonable esperar que las compañías solucionen esto voluntariamente cuando sus métricas de éxito recompensan el comportamiento que produce el problema. La pregunta a 12 meses es regulatoria. Reino Unido y la UE tienen marcos para evaluar daños de IA generativa. Si los reguladores empiezan a usar este tipo de estudios para exigir transparencia sobre las técnicas de fine-tuning que las plataformas aplican, especialmente para usuarios identificados como menores o vulnerables, podría haber requisitos de «modo factual» que desactivan la optimización para warmth en contextos de consulta médica, financiera o legal. Eso sería sano. Lo que sería tóxico es seguir como hasta ahora, dejando que cada compañía decida unilateralmente cuánta verdad sacrifica por engagement.
Preguntas frecuentes
¿Qué modelos analizaron los investigadores? Cinco modelos de varios tamaños: dos de Meta, uno de Mistral, Qwen de Alibaba y GPT-4o de OpenAI. Cada uno fue afinado para warmth y comparado con su versión original.
¿Qué tipo de tareas se evaluaron? Tareas con respuestas objetivas y verificables donde un error puede tener consecuencias reales: conocimiento médico, trivia y teorías conspirativas. Las tasas de error originales iban del 4 al 35 por ciento; warmth-tuning las aumentó en 7,43 puntos porcentuales en promedio.
Si soy un usuario, ¿debería preocuparme? Si usas chatbots para consultas técnicas, médicas, legales o financieras donde la precisión importa, sí. El estudio sugiere que los modelos optimizados para sonar amistosos son más propensos a reafirmar creencias erróneas, especialmente cuando expresas emociones junto con la pregunta. Para esas consultas, conviene formular la pregunta de forma neutra y verificar respuestas críticas con fuentes independientes.
Este es un tema sensible. Si experimentas síntomas de salud mental o estás recurriendo a chatbots como sustituto de apoyo humano, es importante hablar con un profesional de salud mental o con alguien de confianza. Los chatbots no están diseñados para sustituir intervención profesional en momentos de vulnerabilidad.¡