Desde hace ya varios años se está trabajando en sistemas inteligentes que sean capaces de crear clips a partir de texto. El año pasado se presentó un sistema que aprovechó un par de redes neuronales para generar videos pequeños a partir de descripciones como «jugar golf en la hierba», pero Disney quiere llegar más allá.
Varios investigadores de Disney Research y Rutgers trabajan en un modelo que puede crear un guión gráfico y un video que represente texto de guiones de películas. Específicamente, su modelo de texto a animación produce animaciones sin la necesidad de datos anotados o un paso previo al entrenamiento, dado el texto de entrada que describe ciertas actividades.
La generación automática de animación a partir de texto en lenguaje natural encuentra su aplicación en varias áreas, como la escritura de guiones de películas, videos instructivos y seguridad pública… Estos sistemas pueden ser particularmente valiosos para la escritura de guiones al permitir una iteración más rápida, creación de prototipos y prueba de concepto para los creadores de contenido, aunque aún no se genera nada orientado al público final, claro.
En el documento muestran un sistema de texto a animación que es capaz de manejar oraciones complejas. No quieren reemplazar a los escritores y artistas, sino hacer que su trabajo sea más eficiente y menos tedioso.
Ya que ni las oraciones de entrada ni las animaciones de salida tienen una estructura fija, los coautores crearon una red neuronal modular que comprende varios componentes: un módulo novedoso de análisis de guiones que aísla automáticamente el texto relevante de las descripciones de escenas en los guiones de pantalla; un módulo de procesamiento de lenguaje natural que simplifica oraciones complejas utilizando un conjunto de reglas lingüísticas y extrae información de las oraciones simplificadas en representaciones de acción predefinidas; y un modelo de generación de animación que traduce dichas representaciones en secuencias de animación.
Gran tecnología que podrá aplicarse para hacer más y mejores películas de animación.