Investigadores de Facebook se han planteado si era posible predecir computacionalmente los movimientos corporales de los músicos acorde a las piezas musicales que están tocando, especialmente las manos, llevando a cabo una investigación cuyos resultados han quedado plasmados en el documento Audio to Body Dynamics que la compañía acaba de presentar en la Conference on Computer Vision and Pattern Recognition (CVPR) de este año.
Lo que se buscaba, básicamente, es la de lograr que un avatar animado que se moviese de la misma manera en la que lo haría un pianista o un violinista humano a la hora de tocar su instrumento musical. Esta investigación abre las puertas a que en un futuro se permita aprender a tocar instrumentos musicales con la ayuda de la Inteligencia Artificial y la Realidad Aumentada.
Los investigadores han desarrollado una red neuronal Long-Short-Term-Memory (LSTM) y han empleado una recopilación de vídeos de violinistas y pianistas disponibles públicamente en Internet para el entrenamiento de dicha red neuronal, procesando fotograma a fotograma de los vídeos buscando la correlación de los movimientos en los puntos de referencias del cuerpo de los músicos, con el interés puesto en la parte superior del cuerpo y en las manos, con las características de las señales musicales.
Luego, han trasladado estos puntos de referencia a un avatar 3D animado, que realizará un movimiento u otro en base a la entrada de audio que se reciba. Sin duda, esto permitirá que a largo plazo se permita el aprendizaje de instrumentos musicales simplemente imitando los movimientos del propio avatar.