Muchos de los sonidos que vemos en la película (caballos, cosas que se caen, hogueras…) son artificiales, tienen efectos de sonido muy sofisticados y sincronizados, creados por ordenador, aunque otros son grabaciones de los profesionales en estudio, usando montones de objetos a su disposición.
Si nos concentramos en la primera categoría, las cosas van a mejorar, ya que un grupo de investigadores ha creado un programa automatizado que analiza el movimiento en los fotogramas de video y crea sus propios efectos de sonido artificiales para que coincidan con la escena.
En los resultados, encuestaron a varias personas que pensaron que los efectos de sonido falsos eran reales.
El modelo, llamado AutoFoley, se describe en un estudio publicado el 25 de junio en IEEE Transactions on Multimedia.
Actualmente el proceso de síntesis de sonido agrega tiempo y costo significativos a la creación de una película, por eso han creado un programa de aprendizaje automático de varias capas. Crearon dos modelos diferentes que podrían usarse en el primer paso, que consiste en identificar las acciones en un video y determinar el sonido apropiado.
El primer modelo de aprendizaje automático extrae características de la imagen (p. Ej., Color y movimiento) de los fotogramas de los clips de acción de movimiento rápido para determinar un efecto de sonido apropiado.
El segundo modelo analiza la relación temporal de un objeto en marcos separados. Al utilizar el razonamiento relacional para comparar diferentes fotogramas a lo largo del tiempo, el segundo modelo puede anticipar qué acción está ocurriendo en el video.
En un paso final, el sonido se sintetiza para que coincida con la actividad o el movimiento predicho por uno de los modelos.
En total se creo sonido para 1.000 clips de películas que capturan una serie de acciones comunes, como llover, un caballo al galope y un reloj que hace tictac.
AutoFoley es mejor para producir sonidos donde no es necesario que la sincronización se alinee perfectamente con el video (por ejemplo, lluvia que cae, o un fuego crepitante), pero todo tiene su tiempo.
Aquí tenéis algunos vídeos con sonido creado con este modelo:
¿Qué os parece?