La posibilidad de tomar algunas fotografías, para rápidamente convertirlas en escenas 3D navegables, pronto podría ser una posibilidad viable.
Esto, gracias al desarrollo de una nueva tecnología que permite reconstruir mundos 3D fotorrealistas en solo minutos, sin la ayuda de inteligencia artificial.
Una novedosa tecnología de renderizado 3D
Hace dos años, investigadores de la Universidad de California en Berkeley, desarrollaron NeRF, un sistema que podía convertir imágenes planas en 3D gracias al poder de las redes neuronales, que son sistemas de nodos informáticos que actúan como neuronas en el cerebro humano para reconocer patrones en los datos, para brindar una experiencia fotorrealista muy superior a otras tecnologías existentes en ese momento.
Perfeccionando aquella tecnología, investigadores de la misma casa de estudios presentaron Plenoxels, considerada como la evolución de NeRF, al superar a este referente en todos los sentidos, desde su velocidad hasta su calidad de imagen, lo que puede ampliar su potencial para el consumidor, la industria y las aplicaciones científicas.
«NeRF es genial, pero se necesita todo un día para recuperar una escena 3D», dijo Angjoo Kanazawa, profesora de ingeniería eléctrica y ciencias de la computación, quien forma parte de su equipo de desarrollo. «Plenoxels, sin embargo, hace que el entrenamiento sea rápido y práctico al deshacerse de las redes neuronales», agregó.
Con NeRF, la única entrada requerida para optimizar la representación 3D es un conjunto de imágenes con poses de cámara predefinidas. Empleando técnicas clásicas de renderizado de volumen, NeRF puede renderizar vistas fotorrealistas de escenas complejas.
Perfeccionando un proyecto antiguo, prescindiendo de la IA
Tras una serie de experimientos, los investigadores se preguntaron si los procesos de entrenamiento y renderizado podrían realizarse sin redes neuronales. Descubrieron que esto era posible con Plenoxels.
En la jerarquía de los gráficos por computadora, los Plenoxels se encuentran en la cúspide de la dimensionalidad: los píxeles son un elemento de imagen 2D; los vóxeles son un elemento de volumen 3D; y los Plenoxels (vóxeles plenoptic) son elementos de volumen que cambian de color según el ángulo desde el que se ven.
Una cuadrícula Plenoxel se conforma de pequeños bloques, como los que se usan para crear un mundo de Minecraft, excepto que los Plenoxels ofrecen otro nivel de dimensionalidad: color dependiente de la vista. Tal como se aprecia en esta demostración, al alejarse y mirar todos estos bloques a la vez, se puede apreciar un mundo 3D de alta resolución. Pero de cerca, en su núcleo, solo se distinguen pequeños bloques que pueden cambiar de color.
Este proceso, denominado interpolación trilineal, toma el promedio de los bloques vecinos, en lugar de representar un punto dado en el espacio con un bloque o vóxel. Esto suaviza el campo de radiación, mejorando la resolución de la representación 3D resultante sin el retraso de tiempo de las redes neuronales.
“Al hacer algunos ajustes, pudimos eliminar la red neuronal y realmente acelerar el procedimiento de entrenamiento”, dijo Matthew Tancik, Ph.D. estudiante en el laboratorio de Kanazawa y coautor tanto del artículo original de NeRF como el nuevo estudio sobre Plenoxels. “No esperaba que estos métodos fueran tan rápidos. En lugar de tomar un día completo, ahora puede tomar solo unos minutos crear estas representaciones muy fotorrealistas, lo que las hace más prácticas para una variedad de aplicaciones”, señaló.
Los investigadores resaltan la amplia potencialidad de usos que esta tecnología trae consigo. Desde el desarrollo de tours inmobiliarios inmersivos, pasando por la captura de recuerdos personales y hasta cubriendo la generación de experiencias más complejas de realidad virtual y aumentada, contemplan incluso su uso profesional en el desarrollo de tecnologías integradas robots, automóviles e incluso para la inspección de ecosistemas, como para el cálculo de densidad de los árboles en algún territorio.
Kanazawa señaló que aunque este estudio mostró que la tecnología basada en Plenoxels no depende de redes neuronales para convertir fotografías en un mundo 3D explorable, la IA podría ser necesaria si las personas desean usar la tecnología para tareas específicas que sí requieren aprendizaje. “Creo que lo próximo interesante será incorporar el aprendizaje en este proceso, para que puedas hacer cosas similares con muchas menos imágenes, muchas menos observaciones”, dijo Kanazawa. “Usamos nuestra experiencia previa sobre el mundo para percibir nuevas imágenes. Aquí es donde entra en juego el aprendizaje automático real. Y ahora que hemos hecho que el proceso de renderizado 3D sea más práctico, podemos empezar a pensar en ello”, señaló con respecto al futuro de este proyecto.