Fuente: UPM.
Conseguir reconstrucciones faciales en 3D mucho más fieles a la realidad es el objetivo del algoritmo que ha desarrollado un grupo de investigadores del Grupo de Tratamiento de Imágenes de la Escuela Técnica Superior de Ingenieros de Telecomunicación de la Universidad Politécnica de Madrid (UPM).
El trabajo en el que han participado los investigadores de la UPM forma parte del proyecto VISION, liderado por Telefónica I+d, que persigue la creación de una sala en la que se puedan capturar modelos en 3D de las personas.
Estas reproducciones se utilizan después en proyectos de muy diferentes campos, desde la recreación por ordenador, hasta la animación, los videojuegos, etc…
La participación del Grupo de Tratamiento de Imágenes de la UPM consiste, entre otras cosas, en el desarrollo de un atlas de textura que combina la información de color extraída de las distintas cámaras y de un sistema que reconstruye la cara del modelo a partir de diferentes mallas 3D.
La reconstrucción de la cara es uno de los pasos más complejos de la creación de un avatar 3D, por el elevado número de facciones y concavidades que hay que reproducir.
Para hacerlo posible, los técnicos trabajan con tres materiales: fotografías de la persona, un modelo en 3D de una cabeza humana realizado por un artista, y una malla facial en 3D en baja resolución sobre la que se superponen los cambios y retoques de las superficies anteriores.
El trabajo en el que han participado los investigadores de la UPM forma parte del proyecto VISION, liderado por Telefónica I+d, que persigue la creación de una sala en la que se puedan capturar modelos en 3D de las personas.
Estas reproducciones se utilizan después en proyectos de muy diferentes campos, desde la recreación por ordenador, hasta la animación, los videojuegos, etc…
La participación del Grupo de Tratamiento de Imágenes de la UPM consiste, entre otras cosas, en el desarrollo de un atlas de textura que combina la información de color extraída de las distintas cámaras y de un sistema que reconstruye la cara del modelo a partir de diferentes mallas 3D.
La reconstrucción de la cara es uno de los pasos más complejos de la creación de un avatar 3D, por el elevado número de facciones y concavidades que hay que reproducir.
Para hacerlo posible, los técnicos trabajan con tres materiales: fotografías de la persona, un modelo en 3D de una cabeza humana realizado por un artista, y una malla facial en 3D en baja resolución sobre la que se superponen los cambios y retoques de las superficies anteriores.
La “Piramide de transformación”
La primera fase del proceso consiste en señalar los puntos más importantes y complejos de la cara tanto en la fotografía como en el modelo 3D, de modo que actúen como puntos de control para realizar los cambios posteriores.
Estos puntos conforman las “pirámides de transformación” porque forman un esquema piramidal sobre la cara de la persona. El algoritmo desarrollado por los investigadores de la UPM facilita este proceso de localización de los puntos de control y su posterior actuación sobre ellos.
Una vez que se han definido los puntos de control, se trabaja sobre ellos y se fusionan la fotografía y el modelo en 3D. Los puntos que no se utilizan en el proceso se eliminan y el resto se utilizan y se superponen con la máscara final para usar la información que proporcionan en el modelo definitivo.
El proceso concluye con la aplicación del algoritmo al modelo final para perfeccionar la localización de los puntos de control y mejorar así la reproducción 3D del rostro humano.
“La aplicación de este algoritmo permite una reproducción mucho más fiel de los rasgos humanos en el avatar 3D y, al disponerse de un grupo de puntos característicos localizados en el rostro de la persona, posibilita la inclusión de animaciones faciales que permitan reproducir gestos”, explica Rafael Pagés, uno de los investigadores de la UPM que ha participado en el proceso.
No obstante, aún hay aspectos que no se han resuelto y en los que los investigadores siguen trabajando. “Tenemos que mejorar algunos aspectos del proceso, como la automatización de la captura de los puntos de control y su detección en las diferentes estructuras que intervienen. Es un objetivo en el que estamos avanzando y seguiremos trabajando en el futuro, ya que, aunque el algoritmo resuelve algunos de
los problemas que teníamos en cuanto a la gestión de la geometría y del tratamiento del color, sigue requiriendo la interacción del usuario en determinadas fases”, finaliza Pagés.
La primera fase del proceso consiste en señalar los puntos más importantes y complejos de la cara tanto en la fotografía como en el modelo 3D, de modo que actúen como puntos de control para realizar los cambios posteriores.
Estos puntos conforman las “pirámides de transformación” porque forman un esquema piramidal sobre la cara de la persona. El algoritmo desarrollado por los investigadores de la UPM facilita este proceso de localización de los puntos de control y su posterior actuación sobre ellos.
Una vez que se han definido los puntos de control, se trabaja sobre ellos y se fusionan la fotografía y el modelo en 3D. Los puntos que no se utilizan en el proceso se eliminan y el resto se utilizan y se superponen con la máscara final para usar la información que proporcionan en el modelo definitivo.
El proceso concluye con la aplicación del algoritmo al modelo final para perfeccionar la localización de los puntos de control y mejorar así la reproducción 3D del rostro humano.
“La aplicación de este algoritmo permite una reproducción mucho más fiel de los rasgos humanos en el avatar 3D y, al disponerse de un grupo de puntos característicos localizados en el rostro de la persona, posibilita la inclusión de animaciones faciales que permitan reproducir gestos”, explica Rafael Pagés, uno de los investigadores de la UPM que ha participado en el proceso.
No obstante, aún hay aspectos que no se han resuelto y en los que los investigadores siguen trabajando. “Tenemos que mejorar algunos aspectos del proceso, como la automatización de la captura de los puntos de control y su detección en las diferentes estructuras que intervienen. Es un objetivo en el que estamos avanzando y seguiremos trabajando en el futuro, ya que, aunque el algoritmo resuelve algunos de
los problemas que teníamos en cuanto a la gestión de la geometría y del tratamiento del color, sigue requiriendo la interacción del usuario en determinadas fases”, finaliza Pagés.