FRIDA (Framework and Robotics Initiative for Developing Arts) es un proyecto de investigación que se cuece en el Instituto de Robótica de la Universidad Carnegie Mellon.
El objetivo es mezclar creatividad humana y robótica usando modelos de AI para generar pinturas basadas en descripciones de texto e imágenes, con alguna entrada humana requerida.
En su cuenta de Twitter van mostrando los impresionantes resultados, donde se puede analizar la colaboración entre humanos y máquinas, y ver las imprecisiones y los errores.
Cada pintura toma varias horas para completarse, es cierto, pero muchas de ellas las pondría sin problemas en mi salón.
Lo veremos este año en Londres en la International Conference on Robotics and Automation, en la ICRA 2023, donde FRIDA ha sido aceptada para mostrar su habilidad al resto del mundo.
Captar la naturaleza dinámica de la pintura es un desafío para un robot. La mayoría del trabajo existente en la pintura de robots modela el proceso de pintura como impresión analógica, es decir, una imagen de entrada es lo mismo que su objetivo final al reproducir en la pintura. Con FRIDA no es así, no está hecho para que el resultado sea igual a la entrada.
FRIDA utiliza dos axiomas del proceso artístico:
– El arte tiene objetivos semánticos de alto nivel.
– El arte es un proceso dinámico que necesita adaptarse y reconsiderar sus objetivos constantemente durante el proceso de creación.
Para lograr objetivos semánticos de alto nivel, diseñan funciones de pérdida para comparar los objetivos semánticos (o entradas del usuario) y el lienzo actual. En lugar de calcular la pérdida utilizando los valores de píxel, utilizan los valores de características de las redes neuronales profundas pre-entrenadas. Crean un entorno de pintura diferenciable y simulado que permite a su planificador optimizar las acciones de pincel directamente hacia los objetivos semánticos. El entorno de simulación se crea modelando los trazos de pincel reales generados por el robot.
Tenéis el documento PDF con toda la descripción de FRIDA en este enlace