Imaginemos un mundo donde la creación de escenarios 3D realistas ya no requiere de complejas habilidades en diseño gráfico, sino simplemente de unas líneas de texto. Este es el escenario que plantea 3D-GPT, un sistema de inteligencia artificial que transforma descripciones textuales en modelos 3D.
Este proyecto es el resultado de una colaboración internacional entre la Universidad Nacional de Australia, la Universidad de Oxford y la Academia de Inteligencia Artificial de Pekín. El estudio fue publicado en la plataforma académica arXiv, consolidándose como un avance significativo en el campo de la IA y el modelado 3D, un avance más que muestra como la IA puede crear escenarios 3D.
El sistema 3D-GPT se basa en una arquitectura de múltiples agentes. Cada agente tiene una función específica en el proceso de modelado:
- Agente de Despacho de Tareas: Este agente se encarga de interpretar las instrucciones textuales y asignarlas al agente correspondiente.
- Agente de Conceptualización: Añade detalles que podrían faltar en la descripción inicial, enriqueciendo el modelo final.
- Agente de Modelado: Genera el código necesario para controlar software de modelado 3D como Blender.
El sistema utiliza Infinigen, un generador procedural basado en Python-Blender, para llevar a cabo la creación de los modelos 3D. Los agentes trabajan en conjunto para descomponer las tareas de modelado 3D en segmentos manejables, permitiendo una generación más eficiente y precisa.
3D-GPT puede generar código para usarlo en programas 3D existentes, por lo que de momento no crea modelos desde cero, aunque sí da una base flexible sobre la que construir a medida que el trabajo de modeloado 3D continúa avanzando.
Aunque el proyecto muestra un gran potencial, todavía se encuentra en etapas tempranas de desarrollo. La calidad gráfica generada no es aún fotorrealista, pero la arquitectura modular permite mejoras independientes en cada agente, lo que augura un futuro prometedor.
Utilidad práctica
El sistema tiene un amplio rango de aplicaciones, desde videojuegos y realidad virtual hasta cine y experiencias multimedia. Su flexibilidad y eficiencia podrían hacerlo una herramienta invaluable para creadores de contenido y diseñadores.
La aparición de 3D-GPT podría ser un catalizador en la transición hacia la era del metaverso, donde la creación de contenido 3D es cada vez más crucial. No se trata solo de una herramienta de diseño, sino de un paso hacia una interacción más intuitiva y eficiente entre humanos y máquinas en el ámbito creativo. Imaginad ir paseando por el metaverso en un entorno 3D que se genera de forma dinámica en función de las experiencias que vayamos teniendo, de forma única y personalizada, sin que ese entorno haya tenido que programarse anteriormente.
Más información en chuny1.github.io y arXiv:2310.12945v1 [cs.CV]