El software amplifica el cambio de color casi imperceptible de la piel por el bombeo de la sangre. Fuente: MIT
El sistema visual humano tiene un límite de sensibilidad espacio-temporal, pero muchas de las señales que quedan por debajo de esta capacidad pueden ser de carácter informativo. Hacer visibles esas señales es el objetivo que se han marcado investigadores del Instituto Tecnológico de Massachusetts (MIT), en Estados Unidos, con el desarrollo de un software que amplifica los cambios que se producen en una correlación de fotogramas de vídeo, algo imperceptible o difícil de ver a simple vista para el ojo humano.
El equipo de estudiantes de postgrado, ex alumnos y profesores de Ciencias de la Computación y del Laboratorio de Inteligencia Artificial (CSAIL) del MIT presentará su novedosa herramienta en la Conferencia Siggraph de este verano, donde se dan cita cada año expertos en infografía y computación gráfica de todo el mundo.
Según explica la Universidad en un comunicado, el mecanismo es similar al del ecualizador en un sistema de sonido, impulsando unas frecuencias en detrimento de otras, pero en este caso en lugar de sonido lo que varía es el color.
El prototipo del software permite al usuario especificar la gama de frecuencias de interés y el grado de amplificación. Además, la aplicación funciona en tiempo real y muestra tanto el vídeo original como la versión modificada, con los cambios amplificados, haciéndolos mucho más perceptibles.
De esta forma, se puede visualizar realmente el pulso en una muñeca o cómo la piel de la cara se enrojece y palidece a medida que la sangre va circulando. También se pueden exagerar movimientos pequeños, o hacer realmente visibles tanto las vibraciones de cada cuerda de una guitarra al tocarla como incluso la respiración de un bebé en la incubadora de una Unidad Neonatal.
El equipo de estudiantes de postgrado, ex alumnos y profesores de Ciencias de la Computación y del Laboratorio de Inteligencia Artificial (CSAIL) del MIT presentará su novedosa herramienta en la Conferencia Siggraph de este verano, donde se dan cita cada año expertos en infografía y computación gráfica de todo el mundo.
Según explica la Universidad en un comunicado, el mecanismo es similar al del ecualizador en un sistema de sonido, impulsando unas frecuencias en detrimento de otras, pero en este caso en lugar de sonido lo que varía es el color.
El prototipo del software permite al usuario especificar la gama de frecuencias de interés y el grado de amplificación. Además, la aplicación funciona en tiempo real y muestra tanto el vídeo original como la versión modificada, con los cambios amplificados, haciéndolos mucho más perceptibles.
De esta forma, se puede visualizar realmente el pulso en una muñeca o cómo la piel de la cara se enrojece y palidece a medida que la sangre va circulando. También se pueden exagerar movimientos pequeños, o hacer realmente visibles tanto las vibraciones de cada cuerda de una guitarra al tocarla como incluso la respiración de un bebé en la incubadora de una Unidad Neonatal.
Descubrimiento accidental
Los investigadores del MIT desarrollaban una herramienta para amplificar los cambios de color que se producen en una secuencia, pero en sus experimentos iniciales detectaron que aumentaba también el movimiento. "Empezamos con la amplificación del color y nos dimos cuenta de que íbamos a conseguir otro bonito efecto, que el movimiento también se amplifica", destaca el estudiante de Grado Michael Rubinstein, uno de los autores del estudio.
"Así que insistimos para entender exactamente por qué sucede esto, lo estudiamos bien, y vimos cómo poder incorporarlo a una mejor amplificación del movimiento", continúa el investigador. Sin embargo, utilizar el sistema para amplificar el movimiento en lugar del color requiere un tipo de filtración diferente, y funciona bien sólo si los movimientos son relativamente pequeños.
Pero, precisamente, esos son los movimientos cuya ampliación podría resultar de interés. Mediante esta técnica de amplificación de vídeo, denominada Eulerian Video Magnification, basta con tomar una secuencia de vídeo estándar como entrada, y aplicarle la descomposición espacial y temporal, seguida de la filtración de cada fotograma. Entonces, la señal resultante es amplificada para revelar información oculta.
Aunque la aplicación del software resulta más natural con fenómenos que se repiten a intervalos regulares, como los latidos del corazón, el movimiento de una cuerda vibrante o la inflación de los pulmones, si el rango de frecuencias es lo suficientemente amplio, el sistema puede amplificar aquellos cambios que se producen sólo una vez.
Así, por ejemplo, se podría utilizar para comparar imágenes de una misma escena, permitiendo al usuario elegir fácilmente momentos que normalmente pasarían desapercibidos. En una prueba experimental, el sistema fue capaz incluso de amplificar el movimiento de unas sombras en una calle fotografiada sólo dos veces, en un intervalo de aproximadamente 15 segundos.
Los investigadores del MIT desarrollaban una herramienta para amplificar los cambios de color que se producen en una secuencia, pero en sus experimentos iniciales detectaron que aumentaba también el movimiento. "Empezamos con la amplificación del color y nos dimos cuenta de que íbamos a conseguir otro bonito efecto, que el movimiento también se amplifica", destaca el estudiante de Grado Michael Rubinstein, uno de los autores del estudio.
"Así que insistimos para entender exactamente por qué sucede esto, lo estudiamos bien, y vimos cómo poder incorporarlo a una mejor amplificación del movimiento", continúa el investigador. Sin embargo, utilizar el sistema para amplificar el movimiento en lugar del color requiere un tipo de filtración diferente, y funciona bien sólo si los movimientos son relativamente pequeños.
Pero, precisamente, esos son los movimientos cuya ampliación podría resultar de interés. Mediante esta técnica de amplificación de vídeo, denominada Eulerian Video Magnification, basta con tomar una secuencia de vídeo estándar como entrada, y aplicarle la descomposición espacial y temporal, seguida de la filtración de cada fotograma. Entonces, la señal resultante es amplificada para revelar información oculta.
Aunque la aplicación del software resulta más natural con fenómenos que se repiten a intervalos regulares, como los latidos del corazón, el movimiento de una cuerda vibrante o la inflación de los pulmones, si el rango de frecuencias es lo suficientemente amplio, el sistema puede amplificar aquellos cambios que se producen sólo una vez.
Así, por ejemplo, se podría utilizar para comparar imágenes de una misma escena, permitiendo al usuario elegir fácilmente momentos que normalmente pasarían desapercibidos. En una prueba experimental, el sistema fue capaz incluso de amplificar el movimiento de unas sombras en una calle fotografiada sólo dos veces, en un intervalo de aproximadamente 15 segundos.
Numerosas aplicaciones
Rubinstein prevé que, entre otras aplicaciones, el sistema pueda utilizarse para el "control sin contacto" de los signos vitales de pacientes hospitalizados. Impulsar un conjunto de frecuencias permitiría medir el pulso, a través de sutiles cambios en la coloración de la piel, mientras el estímulo de otra serie de frecuencias permitiría el control de la respiración.
Su uso podría ser particularmente útil en bebés que nacen prematuros o que requieren atención médica temprana. "Sus cuerpos son tan frágiles que se trata de evitar en lo posible llenarlos de sensores", señala el investigador.
Del mismo modo, el software podría aplicarse a los monitores de bebé, para conseguir que su respiración al dormir fuera mucho más visible. Con su experiencia como padre, Rubinstein recuerda como él y su esposa equiparon la cuna de su hija con sensores comerciales destinados a medir el movimiento de los pequeños y, sobre todo, tranquilizar a padres ansiosos con la respiración de sus hijos.
"Esos aparatos son un poco caros", afirma el estudiante, "y algunas personas se quejan de recibir avisos fallidos con ellos. Así que realmente comprobaré si con ese tipo de técnica serán capaces de trabajar mejor", remata.
Esto son algunos de los experimentos que el equipo del MIT describe en su artículo, pues son las primeras aplicaciones con las que comenzaron a trabajar. Sin embargo, a medida que han continuado ofreciendo charlas sobre su trabajo, según Rubinstein, sus colegas han propuesto otra lista de usos posibles para el software, desde imágenes por vía laparoscópica de los órganos internos, a sistemas de vigilancia que amplifican movimientos sutiles, pasando por la detección de mentiras sin necesidad de contacto, basada en la frecuencia del pulso.
"El resultado puede ser fantástico", augura Maneesh Agrawala, profesor asociado en el departamento de Ingeniería Eléctrica y Ciencias de la Computación en la Universidad de California en Berkeley y director del Laboratorio de Visualización, también en Estados Unidos. Agrawala recuerda que dos de sus compañeros formaban parte de un equipo anterior del MIT que causó sensación en el Siggraph 2005, con una ponencia sobre la ampliación de movimiento en vídeo.
"Este nuevo enfoque es mucho más sencillo y permite ver algunas cosas que no se podían ver con el método anterior", reconoce el profesor. "La simplicidad del método hace que sea algo que se pueda aplicar en infinidad de usos. Creo que vamos a ver a mucha gente implementándolo, ya que es bastante sencillo", puntualiza.
Rubinstein prevé que, entre otras aplicaciones, el sistema pueda utilizarse para el "control sin contacto" de los signos vitales de pacientes hospitalizados. Impulsar un conjunto de frecuencias permitiría medir el pulso, a través de sutiles cambios en la coloración de la piel, mientras el estímulo de otra serie de frecuencias permitiría el control de la respiración.
Su uso podría ser particularmente útil en bebés que nacen prematuros o que requieren atención médica temprana. "Sus cuerpos son tan frágiles que se trata de evitar en lo posible llenarlos de sensores", señala el investigador.
Del mismo modo, el software podría aplicarse a los monitores de bebé, para conseguir que su respiración al dormir fuera mucho más visible. Con su experiencia como padre, Rubinstein recuerda como él y su esposa equiparon la cuna de su hija con sensores comerciales destinados a medir el movimiento de los pequeños y, sobre todo, tranquilizar a padres ansiosos con la respiración de sus hijos.
"Esos aparatos son un poco caros", afirma el estudiante, "y algunas personas se quejan de recibir avisos fallidos con ellos. Así que realmente comprobaré si con ese tipo de técnica serán capaces de trabajar mejor", remata.
Esto son algunos de los experimentos que el equipo del MIT describe en su artículo, pues son las primeras aplicaciones con las que comenzaron a trabajar. Sin embargo, a medida que han continuado ofreciendo charlas sobre su trabajo, según Rubinstein, sus colegas han propuesto otra lista de usos posibles para el software, desde imágenes por vía laparoscópica de los órganos internos, a sistemas de vigilancia que amplifican movimientos sutiles, pasando por la detección de mentiras sin necesidad de contacto, basada en la frecuencia del pulso.
"El resultado puede ser fantástico", augura Maneesh Agrawala, profesor asociado en el departamento de Ingeniería Eléctrica y Ciencias de la Computación en la Universidad de California en Berkeley y director del Laboratorio de Visualización, también en Estados Unidos. Agrawala recuerda que dos de sus compañeros formaban parte de un equipo anterior del MIT que causó sensación en el Siggraph 2005, con una ponencia sobre la ampliación de movimiento en vídeo.
"Este nuevo enfoque es mucho más sencillo y permite ver algunas cosas que no se podían ver con el método anterior", reconoce el profesor. "La simplicidad del método hace que sea algo que se pueda aplicar en infinidad de usos. Creo que vamos a ver a mucha gente implementándolo, ya que es bastante sencillo", puntualiza.