Recientemente un grupo de personas pertenecientes a la división de entretenimiento de Sony ha llevado a cabo el desarrollo de un controlador que, aseguran, replica los movimientos de las manos y los dedos de un jugador.
Los detalles de esta invención fueron publicados en un artículo titulado «Evaluación de las técnicas de aprendizaje de máquinas para la estimación de la postura de la mano en un dispositivo portátil con sensor de proximidad».
Por lo general, la tecnología presente en las aplicaciones de seguimiento de los dedos, como la Oculus Quest, ha estado sustentada por cámaras que registran el movimiento de los mismos. En este sentido, se ha visto recientemente en el mercado la presencia de sensores capacitivos de proximidad que proporcionan un método de reconocimiento de movimiento más optimo y preciso.
Sin embargo, de acuerdo con Kazuyuki Arimatsu y Hideki Mori, investigadores de Sony, la detección de las cámaras es interferida debido a la acción ejercida por los controladores físicos, siendo esta la razón por la que la tecnología involucrada en los sensores de proximidad aún se encuentra en una etapa donde necesita mejorar y perfeccionarse, haciendo que resulte difícil registrar de forma precisa el movimiento efectuado por la mano.
Es aquí donde, para resolver el problema, los investigadores se dispusieron a fabricar un prototipo de controlador RV de mano con 62 electrodos integrados, el cual usaron luego para grabar un conjunto de datos de entrenamiento valiéndose de un sistema de monitoreo óptico, esfuerzo que les permitió lograr la captura del movimiento de manos de diferentes tamaños de 12 personas.
En palabras de Arimatsu y More respecto al propósito de su creación, estos indicaron lo siguiente:
Nuestro objetivo es ampliar el límite de la capacidad de rastreo de los dedos para una interacción más intuitiva utilizando las manos en el espacio virtual.
Añadido a esto, los investigadores señalaron que, a diferencia de otros, su controlador RV no solo se centra en detectar el toque de los dedos en un electrodo especifico, sino también en determinar el movimiento completo de los dedos en un espacio tridimensional, disponiendo de los valores de todos los sensores.
Para obtener este logro Arimatsu y Mori procedieron a evaluar dos tipos de arquitecturas de redes neuronales convolutivas que luego aplicaron en el campo de la visión por ordenador para predecir la postura y trazar así la arquitectura apropiada para los sensores del controlador RV.
En el vídeo de demostración podemos notar la mano de un usuario y su representación digital realizando algunos gestos como abrir y cerrar, rotación de pulgar, contar, el signo de paz, extender los dedos y el símbolo de llamada telefónica representado con el pulgar y el meñique extendidos.
Con respecto al futuro, el equipo cree que esta tecnología podría extender su uso más allá del ámbito de los juegos y ser implementada en aplicaciones de comunicación no verbal.