Fuente: HHI Fraunhofer.
Cuando los héroes de ciencia ficción se comunican, no utilizan teléfonos fijos ni móviles. La persona que llama simplemente aparece en forma virtual en el centro de la habitación; a tamaño completo y en tres dimensiones.
Para los investigadores del Instituto Fraunhofer (Alemania), esta idea ya está al alcance: en las ferias IFA de Berlín e IBC de Ámsterdam mostrarán una nueva tecnología llamada Reconstrucción del cuerpo humano en 3D.
Los científicos del Instituto Fraunhofer de Telecomunicaciones de Berlín (HHI) han desarrollado un método por el cual la imagen realista de una persona se puede transmitir en un mundo virtual; y al igual que en las películas de ciencia ficción, la imagen aparece a tamaño completo y en tres dimensiones.
La imagen puede ser vista desde diferentes direcciones y el espectador puede incluso caminar alrededor de ella -al igual que en las películas. Hasta ahora, esto no era posible; hasta la realidad virtual (RV) tiene sus límites.
Las personas pueden estar representadas por modelos tridimensionales artificiales (llamados avatares) que se pueden ver cuando el espectador se pone unas gafas de RV. Sin embargo, estas figuras artificiales no tienen una apariencia o movimiento naturales.
Otra opción es la de reproducir la imagen de vídeo de una persona en la vista frontal de las gafas de RV. Sin embargo, el espectador no puede caminar alrededor de la imagen. Como resultado, la escena parece artificial cuando uno se mueve a través del mundo virtual. La persona siempre gira a su parte delantera de dos dimensiones hacia el espectador.
20 cámaras estéreo
Por contra, los investigadores de Fraunhofer han perfeccionado la impresión tridimensional. Para ello, han desarrollado un sistema de cámaras que graba a la persona. El núcleo de este sistema es una cámara estéreo: Igual que la gente con sus dos ojos, la cámara graba a la persona con dos lentes.
Este visión estereoscópica permite calcular bien las distancias, porque los dos ojos miran un objeto desde un ángulo ligeramente diferente. El resultado es una impresión tridimensional.
Grabar a una persona en detalle desde todas las direcciones requiere más de una cámara. "Estamos utilizando más de 20 cámaras estéreo para cartografiar a un ser humano", dice Oliver Schreer, jefe del Grupo de Investigación Comunicaciones y Medios Inmersivos del HHI, en la nota de prensa de éste. Cada cámara sólo captura una parte de la persona. El reto consiste en fusionar las imágenes individuales de la cámara para que se produzca una imagen realista.
El sistema incluye algo más que la tecnología de la cámara. Los investigadores han desarrollado algoritmos que pueden extraer rápidamente la información de profundidad de las imágenes de las cámaras estereoscópicas. Esto es necesario con el fin de calcular la forma 3D de una persona capturada.
El ordenador calcula un modelo virtual del humano, que se transfiere a continuación a la escena virtual. Las cámaras perciben la forma de la superficie con muchos detalles. De esta manera, incluso pueden mostrarse las pequeñas arrugas de la ropa de una persona, por ejemplo. El modelo tiene un aspecto natural y realista.
"En el desarrollo de estos algoritmos, se ha tenido especial cuidado para asegurarse de que funcionan de manera eficiente y rápida, de modo que los movimientos de los conversadores puede se puedan convertir muy rápidamente en un modelo dinámico", dice Schreer, ya que esta es la única manera de que los movimientos se vean naturales. Las imágenes de un solo par de cámaras se pueden procesar en tiempo real.
Todos los gestos
La fusión de la información 3D a partir de las diversas imágenes de la cámara tarda unos segundos. La ilusión ya se ha perfeccionado, sin embargo. El sistema transmite el modelo dinámico 3D de una persona rápidamente a la realidad virtual. Una persona puede moverse libremente en un área de captura concreta.
La imagen virtual retrata cada gesto y movimiento de forma realista. "Nuestro objetivo es que en el futuro una copia realista de la imagen de un ser humano se acapaz de interactuar directamente con el mundo virtual -por ejemplo, que pueda agarrar objetos virtuales", dice Schreer.
En el futuro, está previsto que el nuevo sistema de cámaras sea utilizado para otros campos de aplicación. Por ejemplo, los investigadores trabajan en una aplicación de videoconferencia virtual.
Se podría utilizar también para aplicaciones de información y entretenimiento. En lugar de una experiencia de visualización pasiva, frontal, un televidente podría estar directamente involucrado en una escena de la película a través de gafas de realidad virtual. El espectador no sólo vería una imagen tridimensional de la escena en la televisión, sino que prácticamente podía caminar por su interior, y, por ejemplo, participar en las aventuras de sus héroes de ciencia ficción.
Para los investigadores del Instituto Fraunhofer (Alemania), esta idea ya está al alcance: en las ferias IFA de Berlín e IBC de Ámsterdam mostrarán una nueva tecnología llamada Reconstrucción del cuerpo humano en 3D.
Los científicos del Instituto Fraunhofer de Telecomunicaciones de Berlín (HHI) han desarrollado un método por el cual la imagen realista de una persona se puede transmitir en un mundo virtual; y al igual que en las películas de ciencia ficción, la imagen aparece a tamaño completo y en tres dimensiones.
La imagen puede ser vista desde diferentes direcciones y el espectador puede incluso caminar alrededor de ella -al igual que en las películas. Hasta ahora, esto no era posible; hasta la realidad virtual (RV) tiene sus límites.
Las personas pueden estar representadas por modelos tridimensionales artificiales (llamados avatares) que se pueden ver cuando el espectador se pone unas gafas de RV. Sin embargo, estas figuras artificiales no tienen una apariencia o movimiento naturales.
Otra opción es la de reproducir la imagen de vídeo de una persona en la vista frontal de las gafas de RV. Sin embargo, el espectador no puede caminar alrededor de la imagen. Como resultado, la escena parece artificial cuando uno se mueve a través del mundo virtual. La persona siempre gira a su parte delantera de dos dimensiones hacia el espectador.
20 cámaras estéreo
Por contra, los investigadores de Fraunhofer han perfeccionado la impresión tridimensional. Para ello, han desarrollado un sistema de cámaras que graba a la persona. El núcleo de este sistema es una cámara estéreo: Igual que la gente con sus dos ojos, la cámara graba a la persona con dos lentes.
Este visión estereoscópica permite calcular bien las distancias, porque los dos ojos miran un objeto desde un ángulo ligeramente diferente. El resultado es una impresión tridimensional.
Grabar a una persona en detalle desde todas las direcciones requiere más de una cámara. "Estamos utilizando más de 20 cámaras estéreo para cartografiar a un ser humano", dice Oliver Schreer, jefe del Grupo de Investigación Comunicaciones y Medios Inmersivos del HHI, en la nota de prensa de éste. Cada cámara sólo captura una parte de la persona. El reto consiste en fusionar las imágenes individuales de la cámara para que se produzca una imagen realista.
El sistema incluye algo más que la tecnología de la cámara. Los investigadores han desarrollado algoritmos que pueden extraer rápidamente la información de profundidad de las imágenes de las cámaras estereoscópicas. Esto es necesario con el fin de calcular la forma 3D de una persona capturada.
El ordenador calcula un modelo virtual del humano, que se transfiere a continuación a la escena virtual. Las cámaras perciben la forma de la superficie con muchos detalles. De esta manera, incluso pueden mostrarse las pequeñas arrugas de la ropa de una persona, por ejemplo. El modelo tiene un aspecto natural y realista.
"En el desarrollo de estos algoritmos, se ha tenido especial cuidado para asegurarse de que funcionan de manera eficiente y rápida, de modo que los movimientos de los conversadores puede se puedan convertir muy rápidamente en un modelo dinámico", dice Schreer, ya que esta es la única manera de que los movimientos se vean naturales. Las imágenes de un solo par de cámaras se pueden procesar en tiempo real.
Todos los gestos
La fusión de la información 3D a partir de las diversas imágenes de la cámara tarda unos segundos. La ilusión ya se ha perfeccionado, sin embargo. El sistema transmite el modelo dinámico 3D de una persona rápidamente a la realidad virtual. Una persona puede moverse libremente en un área de captura concreta.
La imagen virtual retrata cada gesto y movimiento de forma realista. "Nuestro objetivo es que en el futuro una copia realista de la imagen de un ser humano se acapaz de interactuar directamente con el mundo virtual -por ejemplo, que pueda agarrar objetos virtuales", dice Schreer.
En el futuro, está previsto que el nuevo sistema de cámaras sea utilizado para otros campos de aplicación. Por ejemplo, los investigadores trabajan en una aplicación de videoconferencia virtual.
Se podría utilizar también para aplicaciones de información y entretenimiento. En lugar de una experiencia de visualización pasiva, frontal, un televidente podría estar directamente involucrado en una escena de la película a través de gafas de realidad virtual. El espectador no sólo vería una imagen tridimensional de la escena en la televisión, sino que prácticamente podía caminar por su interior, y, por ejemplo, participar en las aventuras de sus héroes de ciencia ficción.
Captura del movimiento
"Podemos imaginar también la instalación del sistema de cámaras en diferentes lugares en pequeños estudios", dice Schreer. "Los productores de cine podrían utilizarla para transferir el movimiento de los actores a las escenas con más facilidad que nunca."
Eso ha sido muy costoso hasta ahora. En general, los movimientos de los actores se registran por el método de seguimiento de movimiento. Como parte de este proceso, la cara y el cuerpo del actor están marcados con puntos pequeños. El ordenador sigue el movimiento de los puntos y lo transfiere a la imagen artificial del actor generada por la computadora -por ejemplo, una estrella de acción que saltar de rascacielos en rascacielos.
Sin embargo, con puntos de marcas individuales, los métodos de seguimiento del movimiento solamente pueden detectar los movimientos y, sobre todo, afinar las expresiones faciales de forma muy inexacta o con un esfuerzo técnico muy grande. Eso significa una gran cantidad de post-procesamiento para los artistas gráficos en el ordenador hasta que la escena parece más realista.
"Con nuestro sistema de cámaras, sin embargo, nuestro objetivo es descomponer y representar a una persona y su movimiento con mucho más detalle", dice Schreer.
Los investigadores están mejorando su sistema de cámaras y el software de análisis que lo acompaña. Aún no saben si los ofrecerán como servicio o concederán licencias a las empresas de producción.
Otros proyectos
Investigadores de todo el mundo buscan cómo crear mundos en tres dimensiones. Por ejemplo, un grupo de la Universidad Técnica de Viena ha desarrollado un algoritmo que procesa grandes cantidades de datos para generar mundos virtuales a partir de imágenes tomadas con el móvil. El software podría adaptarse a campos tan dispares como la arqueología, la arquitectura, la ingeniería o el entretenimiento.
En la Universidad de Queen (Canadá), por su parte, han desarrollado un teléfono inteligente flexible y holográfico. El dispositivo, conocido como HoloFlex, es capaz de representar imágenes en 3D holográficas, que saltan de la pantalla, sin necesidad de que el usuario lleve gafas o aparatos especiales.
"Podemos imaginar también la instalación del sistema de cámaras en diferentes lugares en pequeños estudios", dice Schreer. "Los productores de cine podrían utilizarla para transferir el movimiento de los actores a las escenas con más facilidad que nunca."
Eso ha sido muy costoso hasta ahora. En general, los movimientos de los actores se registran por el método de seguimiento de movimiento. Como parte de este proceso, la cara y el cuerpo del actor están marcados con puntos pequeños. El ordenador sigue el movimiento de los puntos y lo transfiere a la imagen artificial del actor generada por la computadora -por ejemplo, una estrella de acción que saltar de rascacielos en rascacielos.
Sin embargo, con puntos de marcas individuales, los métodos de seguimiento del movimiento solamente pueden detectar los movimientos y, sobre todo, afinar las expresiones faciales de forma muy inexacta o con un esfuerzo técnico muy grande. Eso significa una gran cantidad de post-procesamiento para los artistas gráficos en el ordenador hasta que la escena parece más realista.
"Con nuestro sistema de cámaras, sin embargo, nuestro objetivo es descomponer y representar a una persona y su movimiento con mucho más detalle", dice Schreer.
Los investigadores están mejorando su sistema de cámaras y el software de análisis que lo acompaña. Aún no saben si los ofrecerán como servicio o concederán licencias a las empresas de producción.
Otros proyectos
Investigadores de todo el mundo buscan cómo crear mundos en tres dimensiones. Por ejemplo, un grupo de la Universidad Técnica de Viena ha desarrollado un algoritmo que procesa grandes cantidades de datos para generar mundos virtuales a partir de imágenes tomadas con el móvil. El software podría adaptarse a campos tan dispares como la arqueología, la arquitectura, la ingeniería o el entretenimiento.
En la Universidad de Queen (Canadá), por su parte, han desarrollado un teléfono inteligente flexible y holográfico. El dispositivo, conocido como HoloFlex, es capaz de representar imágenes en 3D holográficas, que saltan de la pantalla, sin necesidad de que el usuario lleve gafas o aparatos especiales.