Los laboratorios de investigación de inteligencia artificial de Microsoft han creado una técnica de entrenamiento para modelos 3D a partir de datos 2D, un sistema que aprende «con la vida real» para imaginar los datos que faltan a la hora de «ver» una imagen plana.
Microsoft cree que puede aprender constantemente a generar mejores formas que los modelos existentes cuando se entrena con imágenes exclusivamente en 2D, lo que puede ser usado por desarrolladores de videojuegos, empresas de comercio electrónico, estudios de animación, despachos de arquitectura y muchos otros negocios que no tengan presupuesto para crear 3D desde cero.
En el documento comentan algunos detalles técnicos:
Para ello han usado software que produce imágenes a partir de datos de visualización, entrenando un modelo generativo para formas 3D que toma un vector de entrada aleatorio (valores que representan las características del conjunto de datos) y genera una representación continua de vóxel (valores en una cuadrícula en el espacio 3D) del objeto 3D. Luego, los vóxeles se envían a un proceso de representación no diferenciable, donde se limitan a valores discretos antes de que se procesen utilizando un renderizador listo para usar.
La idea, explicada de forma muy sencilla, es tener un cerebro capaz de crear millones de objetos tridimensionales para después verificar cuál de ellos es el que mejor se adapta a la imagen 2D recibida inicialmente.
Su enfoque aprovecha la señal de iluminación y sombreado proporcionada por las imágenes, lo que le permite extraer información más significativa por muestra de entrenamiento y producir mejores resultados en esos entornos. Además, puede producir muestras realistas cuando se entrena en conjuntos de datos de imágenes naturales.
Por supuesto hay que tener en cuenta que la magia no existe. Si una imagen 2D no tiene toda la información necesaria (ni sombras que den pistas sobre su altura, ni curvas con texturas iluminadas, etc), el sistema de Inteligencia Artificial se inventará el resto, pero aún así, será un punto de inicio importante.
Por cierto, una técnica parecida se usa en la empresa threedy.ai desde hace varios meses. Os invito a ver sus vídeos para conocer sus modelos.