La inteligencia artificial (IA) ha revolucionado muchos aspectos de nuestras vidas, y su potencial en tareas creativas sigue siendo explorado por investigadores de todo el mundo. Recientemente, dos investigadores de la empresa tecnológica PeopleTec, con sede en Alabama, desarrollaron un modelo computacional que puede crear recetas complejas con ingredientes que los usuarios tienen disponibles, después de analizar imágenes de lo que hay dentro de su nevera. Este modelo combina un gran modelo de lenguaje y un detector de imágenes, y puede generar recetas completas con instrucciones y tamaños de porción.
El proyecto
Imagen: Noever and Noever, (2023).
El objetivo del proyecto fue mostrar los avances recientes en el campo de la IA de una manera práctica y útil. Para lograr la generación de recetas a partir de imágenes, los investigadores utilizaron interfaces de programación de aplicaciones (API) de modelos para el análisis de imágenes, así como el generador de texto que subyace a ChatGPT.
El modelo se basa en la combinación de un gran modelo de lenguaje y un detector de imágenes, que identifica los objetos en las imágenes. La idea principal fue combinar los ingredientes crudos y los ingredientes de la receta utilizando el análisis de imágenes y luego pedir al modelo de lenguaje que construyera una receta de cocina plausible, incluyendo el título esperado, las proporciones y los pasos. Además, el modelo puede adaptarse a diferentes restricciones, como el costo de la comida, el tamaño de la porción y las restricciones dietéticas.
La evaluación del modelo
El modelo se evaluó en una serie de pruebas, utilizando más de 2.000 imágenes de refrigeradores abiertos con diferentes ingredientes dentro de ellos. Utilizando estas imágenes, el modelo generó un libro de recetas de 100 páginas con recetas interesantes y únicas que presentan los 30 ingredientes principales que se encuentran en las imágenes de entrada.
El modelo tiene la capacidad de adaptarse a diferentes restricciones, como el costo de la comida, el tamaño de la porción y las restricciones dietéticas. Además, el modelo puede generar recetas para diferentes combinaciones de ingredientes, lo que lo hace útil tanto para cocineros amateur como para expertos.
El futuro del proyecto
El siguiente paso para los investigadores es desarrollar una aplicación móvil que pueda tomar una fotografía de una nevera real y generar una lista de los ingredientes disponibles, sin la restricción de usar todos los ingredientes. Esto permitiría a los usuarios mezclar y combinar los ingredientes disponibles para crear una receta que se adapte a sus necesidades.
El proyecto de los investigadores de PeopleTec podría inspirar a otros equipos en todo el mundo a utilizar modelos de lenguaje y otros modelos de IA en tareas de generación de recetas o en otros problemas creativos.
Este proyecto demuestra el potencial de la IA para ayudar en tareas creativas y prácticas. La capacidad del modelo para adaptarse a diferentes restricciones y generar recetas para diferentes combinaciones de ingredientes es impresionante. Este tipo de aplicaciones también podría ayudar a las personas que tienen dificultades para planificar sus comidas, especialmente aquellas con restricciones dietéticas.