Poner color en un vídeo en blanco y negro no es tarea fácil, pero la Inteligencia Artificial puede ayudar mucho con el tema.
Microsoft ha estado trabajando con el tema, y ha publicado un artículo en Arxiv.org donde indica que han creado un sistema de extremo a extremo para la colorización de video autónoma basada en un ejemplo (una imagen de referencia). Dicen que en experimentos cuantitativos y cualitativos, logra resultados superiores a lo que se puede hacer hoy en el sector.
El principal desafío es lograr consistencia temporal mientras se mantiene fiel al estilo de referencia. Una vez conseguido, se pueden producir videos realistas con una buena estabilidad temporal. La IA es capaz de convertir clips monocromáticos en color de una forma semejante a como lo hizo Nvidea en septiembre pasado, o Google, cuando presentó un algoritmo que colorea los videos en escala de grises sin supervisión humana manual, pero hasta ahora se veían errores proporcionales a la duración del video de entrada.
En este caso el método de los investigadores toma el resultado de un fotograma de video anterior como entrada (para preservar la consistencia) y realiza la colorización utilizando una imagen de referencia, lo que permite que esta imagen guíe la colorización fotograma a fotograma y reduzca el error de acumulación.
Se usaron datos de entrenamiento del código abierto Videvo corpus, que contiene principalmente animales y paisajes, y lo complementaron con videos de retratos llegando a un total de 768 videos. Para cada video, extrajeron 25 frames y expandieron aún más la categoría de datos con fotos de ImageNet, que usaban para aplicar distorsión geométrica aleatoria y ruidos de luminancia para generar frames. El resultado final: 70.000 videos de diversas categorías.
Los resultados son poco vibrantes, pero muestran un colorido similar al de la realidad.
Una técnica que podría ayudar a darle vida a las antiguas películas.