Los servicios de traducción de idiomas basados en modelos de aprendizaje automático están permitiendo que la diferencia de idiomas entre personas deje de ser un obstáculo, aunque desde Facebook AI creen que se puede llegar más lejos.
Así que, después de varios años de trabajo, la división de Inteligencia Artificial de Facebook presenta oficialmente a M2M-100, considerándolo como el primer modelo de traducción automática multilingüe (MMT) que no depende del inglés para la traducción entre dos idiomas, un hito del cual se sienten orgullosos, y que cual comparten su código fuente.
A este respecto explican que muchos modelos traducen primero de un idioma al inglés y luego del inglés al segundo idioma deseado. Por ejemplo, si se desea una traducción del francés al chino, primero tiene que traducirse al inglés y luego del inglés al chino.
La independencia del inglés para traducir entre otros idiomas le ha permitido que su modelo supere en diez puntos en la métrica BLEU a los modelos multilingüe avanzados dependientes del inglés.
Además se trata de un modelo completamente escalable y universal, a diferencia de la mayoría, que cuentan con un modelo de inteligencia artificial para cada idioma y tarea.
Y para crear M2M-100 se ha necesitado una basta cantidad de datos para posibilitar su entrenamiento, teniendo en cuenta que da soporte a 100 idiomas diferentes.
Desde Facebook AI explican que han tenido que recurrir a novedosas estrategias de minería de datos, creando lo que llaman primer conjunto de datos verdaderamente de muchos a muchos.
Ello le ha permitido obtener grandes volúmenes de pares de oraciones de calidad para direcciones de traducción arbitrarias que no involucran al inglés, hasta llegar hasta los 7.500 millones de pares de oraciones en 100 idiomas hasta la fecha.
No ha faltado además la aplicación de diferentes técnicas para tratar de lograr que el modelo sea eficiente y escalable, reduciendo su complejidad y el nivel de procesamiento computacional necesario.
Así que la conclusión de Facebook AI sobre su nuevo hito es que:
El nuevo modelo multilingüe de muchos a muchos de Facebook AI es la culminación de varios años de trabajo pionero en MT en modelos innovadores, recursos de minería de datos y técnicas de optimización.
Los interesados en conocer en profundidad al nuevo modelo de traducción automática multiligüe creado por Facebook tendrá todos los detalles en el anuncio oficial.