Tencent, el gigante tecnológico, ha lanzado recientemente InstantMesh, un avanzado modelo de inteligencia artificial (IA) capaz de transformar imágenes estáticas en modelos 3D. Este desarrollo es una evolución de su anterior marco, Instant3D, que ya había marcado un hito en el campo del renderizado tridimensional.
InstantMesh incorpora dos arquitecturas innovadoras: un modelo de difusión multivista y un modelo de reconstrucción de vista escasa. Estos modelos están integrados dentro de una estructura mayor conocida como Modelo de Reconstrucción Grande (LRM). Esta combinación permite al sistema no solo procesar la parte visible de una imagen, sino también inferir y modelar las partes que no son visibles, facilitando una experiencia tridimensional completa.
Cómo se usa InstantMesh
La accesibilidad de InstantMesh es notable, ya que Tencent ha optado por hacer el modelo de código abierto, disponible a través de Hugging Face. Además, han desarrollado una aplicación de vista previa que permite a los usuarios cargar una foto y observar su conversión en tiempo real a un modelo 3D. Aunque las pruebas iniciales indican que la calidad de los renders puede ser mejorable, la velocidad de procesamiento es impresionante, con modelos generados en menos de diez segundos. Solo tenéis que entrar esn ese enlace y subir la imagen, el archivo 3D aparecerá después en formato OBJ y GLB.
Uno de los desafíos más significativos en el renderizado 3D es el denominado problema de Janus, que se refiere a la necesidad de la IA de imaginar y construir las partes no visibles de un objeto. InstantMesh aborda este desafío mediante un generador de vistas novedoso, ajustado a partir de tecnologías como la difusión estable.
Esto es lo que he conseguido modelar usando la imagen de los auriculares de Nothing:
De imagen 2D a archivo 3D en OBJ
Si abrimos el obj creado en el ejemplo anterior, obtenemos esto:
Comparativa y contexto del mercado
En comparación con otras tecnologías similares, como el modelo Stable Video 3D de Stability AI, InstantMesh se destaca en ciertas métricas clave. Tencent ha enfocado sus esfuerzos en mejorar la calidad perceptual de los renders en lugar de adherirse estrictamente a la resolución original, argumentando que las vistas novedosas verdaderas deberían ser inherentemente desconocidas y capaces de presentar múltiples posibilidades.
Otras empresas, como Adobe y Autodesk, han desarrollado también herramientas avanzadas de modelado 3D y renderizado, pero la apuesta de Tencent por un modelo abierto y de rápida ejecución presenta un nuevo paradigma en la industria.
Utilidad de pasar de 2D a archivo 3D
InstantMesh tiene una variedad de aplicaciones potenciales que pueden revolucionar múltiples industrias y sectores. Aquí detallo algunas de las más significativas:
1. Videojuegos y Entretenimiento
En la industria de los videojuegos, InstantMesh puede ser utilizado para generar rápidamente modelos 3D de personajes, escenarios o elementos de objetos a partir de imágenes estáticas. Esto puede acelerar significativamente el proceso de desarrollo de juegos, permitiendo a los diseñadores y artistas convertir conceptos artísticos en modelos tridimensionales jugables con mayor rapidez y menos esfuerzo manual.
2. Realidad Virtual y Realidad Aumentada (VR/AR)
Para las experiencias de VR y AR, la capacidad de transformar imágenes en modelos 3D con facilidad y rapidez es invaluable. InstantMesh podría ser usado para crear ambientes virtuales más ricos y detallados o para integrar objetos del mundo real en entornos virtuales, mejorando la inmersión y la interactividad en aplicaciones de realidad aumentada.
3. Diseño Arquitectónico y Visualización
Los arquitectos y diseñadores pueden utilizar InstantMesh para visualizar edificaciones o interiores en 3D a partir de esquemas o fotografías. Esto facilita la visualización de cómo se verían los proyectos terminados y permite realizar modificaciones antes de la construcción física, ahorrando tiempo y recursos.
4. Educación y Formación
En el ámbito educativo, InstantMesh puede ayudar a crear modelos 3D interactivos para la enseñanza de conceptos complejos en ciencia, medicina, o ingeniería. Por ejemplo, se podrían generar modelos detallados de órganos humanos a partir de imágenes médicas para cursos de anatomía.
5. Arte y Creatividad Digital
Artistas y diseñadores digitales podrían usar InstantMesh para experimentar con nuevas formas de arte tridimensional, transformando fotografías en esculturas digitales o explorando nuevas dimensiones en el diseño gráfico.
6. Automatización Industrial y Prototipado Rápido
En la manufactura, InstantMesh puede facilitar el prototipado rápido de productos al convertir diseños de componentes en modelos 3D que se pueden imprimir en 3D o utilizar en simulaciones digitales para pruebas de estrés y análisis aerodinámicos.
InstantMesh representa un paso adelante significativo en la tecnología de renderizado 3D, esperemos que vayan mejorando la generación del archivo.
Tenéis el estudio en arxiv.org
En caso de que no funcione bien con tu imagen, siempre puedes intentarlo con Kaedim, o con lo nuevo de Adobe.