Face2Face, reconstrucción facial que convierte nuestras expresiones en las de un famoso

Publicado el

reconocimiento facial

Imagina un software en el que miras y hablas de forma natural frente a una cámara web mientras que en tiempo real todas tus expresiones son capturadas y personificadas por un actor, artista o polí­tico famoso como si este último fuese el que originalmente las hubiese realizado.

Face2face titula un nuevo sistema de reconocimiento y recreación facial de un grupo de investigadores de la Universidad de Stanford el cual presenta un nuevo método para aproximarse al escenario antes mencionado con ayuda de videos de YouTube. Claro, no son los únicos que lo intentan hasta el momento, pero su propuesta resulta tan fluida y novedosa que asusta.

El proceso de captura y deformación del objetivo
Esquema básico del proceso de captura y deformación del objetivo

La idea es tomar del video determinadas secuencias e ir ajustándolas en tiempo real a partir de la fuente, en este caso, el rostro de la persona no famosa y su cámara web. Entonces, con un manejo de modelos que se van actualizando automáticamente según se requiere en cada frame, además de transformaciones en vivo con el debido soporte matemático para hacer tan eficiente la deformación del objetivo, se consiguen resultados alucinantes.

Nada mejor que echarle un vistazo a su video de presentación en el que «se pone a hablar» a Donald Trump, Obama, Vladimir Putí­n y hasta a Bush:

Por supuesto, hay un artí­culo cientí­fico tras el trabajo y se consigue en este enlace (PDF). En él se habla de cómo se maneja hasta la iluminación para manipular los rostros rí­gidos, el aporte a las metodologí­as actuales, el tratamiento de los errores y la eficiencia de su aproximación.

Más información: Página del proyecto (Stanford.edu)