Recientemente comenté en IGTV una aplicación que nos permite dar efecto tridimensional a las fotos. Se trata de LucidPix, y aunque el efecto es interesante, no se acerca a lo que os voy a comentar hoy.
Un grupo de investigadores de Facebook han estado trabajando en un sistema para que las personas puedan hacer fotos tridimensionales en segundos, desde el móvil.
Se trata de un sistema para crear y ver fotos tridimensionales que se mostrará públicamente con detalle en SIGGRAPH 2020. La conferencia, que tendrá lugar virtualmente este año a partir del 17 de agosto, reúne una red diversa de profesionales que se acercan a los gráficos por computadora e interactivos.
La técnica fotográfica 2-D-to-3-D ha estado disponible como una «función de fotos» en Facebook desde finales de 2018. Para usarla los usuarios de Facebook tienen que capturar fotos con un teléfono equipado con una lente dual cámara. Ahora, el equipo de Facebook ha agregado un algoritmo que automatiza la estimación de profundidad a partir de la imagen de entrada en 2-D, y la técnica se puede utilizar directamente en cualquier dispositivo móvil, expandiendo el método más allá de la aplicación de Facebook y sin el requisito de tener un doble cámara con lente.
Johannes Kopf es el autor principal del trabajo y científico investigador de Facebook, quien asegura que con este sistema tendremos fotografía en 3D para que las fotos se sientan mucho más vivas y reales.
Los usuarios podrán acceder a la nueva tecnología a través de su propio dispositivo móvil, y desde allí verán la conversión en tiempo real de una imagen de entrada 2D a 3D, sin necesidad de tener habilidades fotográficas por parte del usuario.
Para conseguirlo, lo explican:
[…] entrenaron una red neuronal convolucional (CNN) en millones de pares de imágenes públicas en 3-D y sus mapas de profundidad y técnicas de optimización móvil desarrolladas por Facebook AI. El marco también incorpora pintura de textura y captura de geometría de la imagen de entrada en 2-D para convertirla en 3-D, lo que resulta en imágenes que son más activas y animadas. Cada paso automatizado que convierte la foto 2-D de un usuario, directamente desde su dispositivo móvil, está optimizado para ejecutarse en una variedad de marcas y modelos y puede trabajar con las capacidades limitadas de transferencia de datos y memoria de un dispositivo.
Ahora están investigando con métodos de aprendizaje automático que permitan una estimación de profundidad de alta calidad para videos tomados con dispositivos móviles, por lo que las cosas no han hecho nada más que empezar.
Mientras tanto, podemos seguir jugando con LucidPix, tal y como os muestro aquí: