La realidad virtual (RV) ha tomado un nuevo giro en la exploración de la música y la interacción en el metaverso. A través de la fusión de tecnologías y conceptos innovadores, se ha creado un puente entre la música, la animación y la experiencia del usuario. A continuación, se detallan los aspectos clave de este emocionante avance.
En el estudio Avatar Fusion Karaoke: Research and development on multi-user music play VR experience in the metaverse, disponible en este PDF, se habla sobre la investigación y desarrollo de una experiencia de realidad virtual en el metaverso, centrada en la música y el juego multiusuario. Se explora la fusión de tecnologías de inteligencia artificial, captura de movimiento y animación para crear una experiencia de karaoke de avatar inmersiva y colaborativa. El documento detalla los desafíos técnicos, las soluciones implementadas y las posibles aplicaciones futuras de esta innovadora combinación de música y tecnología virtual.
La creación de una experiencia cercana a la vida escolar adolescente en el metaverso plantea desafíos en términos de rendimiento y número de avatares. La meta es lograr una experiencia cruzada en diferentes plataformas como Meta Quest 1 y Meta Quest 2. Los avatares en la aplicación objetivo tienen un conteo poligonal promedio de aproximadamente 30,000 y un conteo de material de 6 a 14, lo que es más pesado que en aplicaciones móviles generales.
En un espacio de metaverso, los materiales, sombreadores y la iluminación de la habitación deben configurarse para que la apariencia del avatar no cambie significativamente. La optimización para el entorno del dispositivo del usuario es crucial, y se deben considerar aspectos como la atlantización de los materiales y texturas del avatar y la compatibilidad con la física aplicada al cabello y la ropa.
Juego de Música Asistido por IA
Concepto de Fusión de IA
Para realizar el karaoke con avatar, se creó un sistema automático de reproductor de música de avatar utilizando archivos SMF (partituras musicales, MIDI estándar, .mid) y Fusión de IA. La tecnología para generar expresiones faciales a partir del audio, especialmente la forma de la boca, ha estado disponible en la industria del cine y la animación utilizando LipSync.
Implementación de Fusión de IA en Unity
La implementación de la Fusión de IA en Unity utiliza una combinación de animaciones generadas por MIDI y captura de movimiento. Se crean animaciones para representar movimientos asociados con cada nota que se toca, y se utilizan archivos MIDI como base para vincular esas animaciones con la música que se reproduce en tiempo real.
Herramientas y Pruebas de Concepto
QueTra: Sistema Simple de Captura de Movimiento usando Quest
QueTra es un sistema de captura de movimiento que utiliza Meta Quest para crear animaciones de avatar compatibles con el formato humanoide de Unity. Tiene aplicaciones diversas y potenciales en una variedad de usos, incluyendo la educación y la producción interna.
GVBand: Prototipo de una Experiencia Musical VR Multiusuario en el Metaverso
GVBand es una aplicación que permite a los usuarios entrar en un metaverso y practicar para una actuación como miembro de un club de música de secundaria. La interacción y la expresión son clave en esta experiencia, y hasta cuatro usuarios pueden jugar simultáneamente.
Y todo esto… ¿para qué?
La fusión de música y metaverso no es solo un avance tecnológico, sino un paso hacia una nueva forma de interacción y expresión humana. La capacidad de crear experiencias musicales en un entorno virtual abre puertas a nuevas formas de comunicación, aprendizaje y entretenimiento. La combinación de música, animación y realidad virtual puede tener aplicaciones en áreas tan diversas como la educación, el entretenimiento y la colaboración empresarial. La exploración de estos conceptos no solo mejora nuestra comprensión de la tecnología, sino que también enriquece nuestra conexión con el mundo digital y entre nosotros.