Imaginad la escena de un poeta recitando una poesía y un ordenador creando un vídeo al mismo tiempo con escenas de lo que las palabras van descibriendo.
Eso es lo que ha conseguido un nuevo sistema de inteligencia artificial, y el resultado es sorprendente.
La transformación de audio a texto ya es una realidad desde hace muchos años, pero en este caso es un proceso inverso de interpretación de contenido, no solo de transcripción.
Han publicado un video creado por el artista y animador de computadoras Glenn Marshall, quien usa IA para narrar y crear visualizaciones para poemas. El vídeo en cuestión está basado en el poema ‘In the Bleak Midwinter’, escrito por una escritora inglesa del siglo XIX Christina Rossetti.
Como veis, no son animaciones muy sofisticadas, parecen salidas de un sueño, mostrando escenas que recuerdan a los versos, pero generando un sentimiento muy distinto al que se produciría escuchando únicamente el audio.
Para crearlo se ha usado biblioteca Story2Hallucination, y para la narración, el video utiliza la herramienta vo.codes, que toma prestada la voz de Christopher Lee.
Es solo un ejemplo de lo que puede hacerse usando esta tecnología. Este mismo año OpenAI reveló una nueva biblioteca llamada DALL-E que convierte palabras y frases en imágenes, por lo que estamos a un paso para que podamos crear vídeos musicales de forma automática o nuevas sensaciones en Youtube basadas en narraciones de libros o incluso noticias.