Existen muchas lenguas de señas, casi tantas como lenguas habladas en todo el mundo, por lo que crear un intérprete usando inteligencia artificial no es algo tan sencillo como memorizar un conjunto fijo de movimientos.
Google ha estado investigando cómo pueden ayudar con el tema usando modelos de aprendizaje automático, asociándose con expertos lingüísticos y con personas con deficiencias auditivas, y así es como han conseguido crear varios modelos de aprendizaje automático para reconocer el lengua de señas como una suma de sus partes.
Han estado varios meses realizando pruebas con videos para el lengua de señas japonés y el de Hong Kong, y así nació SignTown, una aplicación de escritorio interactiva que funciona con un navegador web y una cámara. Lo he estado probando, y es realmente interesante.
Activo la webcam y comienzo a imitar a las personas que expresan palabras con señas, la webcam y el sistema de aprendizaje automático hace el resto, diciéndome si lo he hecho bien o no.
De momento solo funciona para esos dos lenguas, en plan gamificado, para que sea sencillo aprender nuevas palabras delante del monitor.
El juego es parte del Proyecto Shuwa. Ahora están trabajando en la creación de un diccionario más completo en más lenguajes de signos, y están colaborando con el equipo de Búsqueda de Google para publicar resultados que mejoren la calidad de búsqueda de los lenguajes de signos.
Estos avances en AI y ML permiten identificar mejor los movimientos de las manos, las poses corporales y las expresiones faciales. En este caso usa el modelo holístico de MediaPipe para identificar puntos clave de fotogramas de video sin procesar, todo dentro del navegador del usuario usando tecnología de Tensorflow.js.
Una experiencia realmente recomendable para todos.