Esta IA del MIT puede identificar un instrumento en un video y aislar su sonido

Publicado el

instrumentoEl CSAIL del MIT desarrolló una IA que puede identificar cada uno de los instrumentos de una pieza musical, y aislar el sonido de aquel que el usuario desee escuchar de manera individual.

Por ejemplo, si estamos viendo un video musical en YouTube, y deseamos escuchar solo uno de los instrumentos, la IA comenzará un proceso de edición para reproducir solo el sonido de ese instrumento, reduciendo el volumen del resto. Así­ que, con un simple clic podrí­amos alternar los sonidos de cada uno de ellos.

Podemos ver varios ejemplos de esta dinámica en el siguiente video:

Este sistema, denominado PixelPlayer, que utiliza el potencial del Aprendizaje automático “auto-supervisado”, fue entrenado con más de 60 horas de videos. En esta primera etapa, puede identificar hasta 20 instrumentos, aunque tiene problemas para diferenciar instrumentos con sonidos similares.

El equipo tras este proyecto considera que la IA tiene mucho más potencial, solo necesitan dedicar más tiempo de desarrollo y horas de entrenamiento. Así­ que, en un futuro podrí­a convertirse en una de las herramientas favoritas para restaurar o mejorar la calidad de sonido de pelí­culas o conciertos antiguos.

Y hasta podrí­a aplicarse en el entrenamiento de robots para que identifiquen los sonidos de su entorno, y puedan reconocerlos en diferentes escenarios.

Publicado en
Etiquetado
Música

Comparte en: