Meta AI Research, una destacada entidad de investigación en inteligencia artificial, ha presentado avances en la estimación de la postura corporal impulsada por IA para sistemas de realidad virtual (VR). En un nuevo estudio, los investigadores abordan el desafío de rastrear con precisión las partes del cuerpo más allá de la cabeza y las manos en los sistemas de VR actuales. Han desarrollado modelos de aprendizaje por refuerzo que pueden estimar de manera plausible la postura corporal completa utilizando únicamente los datos de seguimiento del headset Quest 2 y sus controladores.
La estimación de la postura corporal en VR ha sido un desafío considerable. Mientras que los sistemas actuales solo pueden rastrear la posición de la cabeza y las manos, partes como los codos, el torso y las piernas requieren algoritmos más avanzados, como la cinemática inversa (IK). Sin embargo, los algoritmos IK a menudo son imprecisos para los codos y casi nunca funcionan correctamente para las piernas. Esto se debe a la multitud de soluciones posibles para una configuración dada de la cabeza y las manos. En consecuencia, muchas aplicaciones de VR muestran solo las manos o se centran en la parte superior del cuerpo.
Los investigadores de Meta AI Research han abordado esta limitación mediante el desarrollo de QuestSim, un modelo de aprendizaje por refuerzo que puede estimar una postura corporal completa plausible utilizando solo los datos de seguimiento del Quest 2 y sus controladores. Este modelo ha demostrado una correspondencia cercana entre los movimientos del avatar virtual y los movimientos reales del usuario. Según los investigadores, la precisión y la estabilidad de QuestSim superan a los dispositivos de seguimiento basados en unidades de medición inercial (IMU), como el Mocopi de Sony, que solo contienen acelerómetros y giroscopios.
Sin embargo, QuestSim presenta una falla en casos específicos en los que el usuario interactúa con el mundo real, como sentarse en una silla o un sofá. La transición entre estar sentado y de pie es crucial para lograr una representación corporal completa y realista en la VR social. Para abordar esta problemática, los investigadores han presentado un nuevo modelo llamado QuestEnvSim.
QuestEnvSim utiliza el mismo enfoque de aprendizaje por refuerzo que QuestSim, pero ahora incorpora la presencia de muebles y otros objetos en el entorno virtual. Esto mejora la precisión de la estimación de la postura corporal al tener en cuenta la interacción del usuario con estos objetos del mundo real. En el video presentado, se pueden observar los resultados impresionantes de QuestEnvSim.
Es importante tener en cuenta algunas consideraciones y limitaciones de estos modelos. En primer lugar, el artículo no menciona el rendimiento en tiempo real del sistema descrito. Los papers de investigación en aprendizaje automático suelen ejecutarse en potentes GPU de PC a velocidades de fotogramas relativamente bajas, lo que significa que pasarán varios años antes de que estos modelos puedan ejecutarse en tiempo real en dispositivos de VR para consumidores, como el Quest 2.
Además, los muebles y objetos utilizados en los experimentos fueron escaneados y colocados manualmente en el entorno virtual. Si bien es posible que futuras versiones de los visores de VR, como el Quest 3, tengan sensores de profundidad que permitan el escaneo automático de muebles, los modelos actuales no cuentan con estos datos cruciales.
Es importante destacar que estos modelos están diseñados para generar una postura corporal completa plausible en lugar de ajustar exactamente la posición de las manos. La latencia del sistema también es relativamente alta en comparación con las experiencias de VR en tiempo real. Por lo tanto, estos enfoques pueden no funcionar bien para observar el propio cuerpo en VR, incluso si se logra un rendimiento en tiempo real.
No obstante, si estos sistemas se optimizan en el futuro, la capacidad de ver el movimiento corporal completo de los avatares de otras personas sería un avance significativo en comparación con los avatares actuales de Meta, que a menudo carecen de una representación realista de las piernas. El director de tecnología de Meta, Andrew Bosworth, ha insinuado que esta sería la dirección futura de la compañía. Aunque los usuarios no vean sus propias piernas con precisión, Meta se enfoca en proporcionar piernas de apariencia natural para los avatares de otras personas, mejorando así la experiencia general de la VR social.
El avance de Meta AI Research en la estimación de la postura corporal en VR mediante el uso de modelos de aprendizaje por refuerzo y la consideración de los objetos del entorno ha mostrado resultados prometedores. Aunque existen desafíos y limitaciones por superar, como el rendimiento en tiempo real y la falta de sensores de profundidad en dispositivos actuales, estos avances representan un paso importante hacia una representación corporal más realista en la VR. Ver avatares con movimientos corporales completos y plausibles podría mejorar significativamente la inmersión y la interacción social en entornos virtuales. Meta AI Research continúa trabajando en este ámbito, y el futuro de la VR promete una experiencia cada vez más realista y envolvente.
Más información en arxiv.org.