Los modelos de Inteligencia Artificial que utilizan métodos de procesamiento de lenguaje natural son, como todo en la vida, lejos de ser perfectos, necesitando evolucionar constantemente para que puedan entender mejor las instrucciones de los usuarios, ya que estos pueden manifestar sus intereses concretos de diferentes maneras, y pueden darse casos que el cambio de una simple palabra, sin alterar el significado de lo que desean expresar, pueda dar como resultado un entendimiento diferente.
Y para ponerlos a prueba, tratando de engañarlos, y conocer las debilidades de los mismos, por muy avanzados que estén, aunque este no sea el objetivo final, científicos del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT han desarrollado a TextFooler, un sistema de confrontación que permitirá detectar eficazmente las debilidades existentes en los modelos de Inteligencia Artificial con procesamiento de lenguaje natural mediante engaños.
Este sistema podría aplicarse en temas de seguridad en línea
Básicamente, este sistema actúa en dos fases. En la primera trata de buscar las palabras más relevantes para un modelo concreto para luego sustituirla por sinónimos, todo ello sin alterar el significado o contexto de las oraciones. En la segunda fase, emplea esas oraciones de dos formas diferentes buscando la posibilidad de engañar al modelo de aprendizaje automático.
Los investigadores han logrado engañar con éxito a tres modelos existentes, según señalan desde MIT News, incluyendo al popular modelo de lenguaje de código abierto que está disponible bajo el nombre de BERT.
Para ello, a TextFooler sólo le ha llevado alterar el 10% de las oraciones para conseguir un alto nivel de precisión. Los científicos consideran que los sistemas de procesamiento de lenguaje natural deberían tener herramientas para evitar este tipo de engaños, ya que, llevados a la práctica, podría derivar en consecuencias desastrosas.
No olvidemos que Alexa de Amazon o el Asistente de Google son básicamente modelos de Inteligencia Artificial con procesamiento de lenguaje natural, por lo que deben estar preparados para cualquier tipo de engaño que puedan recibir.
En el caso de TextFooler, este sistema se concentra en modelos de aprendizaje automático que trabajan con textos, considerándose que podría tener aplicaciones en seguridad tales como el filtrado de mensajes de correo electrónico fraudulento, marcar discursos de odio o la detección de contenidos políticos que puedan ser sensibles.