Fuente: AKphotos/ Stock.
Algún día no muy lejano los ordenadores nos facilitarán automáticamente el videoresumen de un día de nuestra vida, las vacaciones familiares o las ocho horas de patrulla policial, según auguran científicos de la Universidad de Texas (UT) en Austin.
Los investigadores se adelantan así a lo que está por venir, sobre todo cuando se extienda el uso comercial de dispositivos como Looxcie, la primera videocámara con conexión móvil y manos libres, o las novedosas Google Glass, un paso más en la realidad aumentada.
“La cantidad de lo que nosotros llamamos vídeo 'egocéntrico', aquel que graba lo que sucede alrededor de la perspectiva de una persona, está a punto de explotar”, avanza Kristen Grauman, profesora asociada de Ciencias de la Computación, en un comunicado de la UT. Por ello, “vamos a necesitar mejores métodos para resumir y seleccionar de entre todos esos datos”, continúa.
La necesidad es cada vez más clara, pues aparecen nuevos dispositivos y escenarios que generan vídeos de gran volumen, por lo que resulta complicado revisarlos al detalle. Además, con los métodos actuales, existe el riesgo de perder información esencial al sintetizar la grabación.
Como alternativa, Grauman y su equipo han desarrollado una avanzada técnica que utiliza aprendizaje automático para analizar los vídeos grabados, de forma que puedan acortarlos mediante clips muy breves o una serie de imágenes fijas que sigan transmitiendo la esencia de la historia. El método, al que han bautizado como videoresumen “Story-driven”, se presentó este verano en la Conferencia IEEE sobre Visión Artificial y Reconocimiento de Patrones.
Este tipo de videoresumen ayudará a las autoridades militares a gestionar las imágenes de las cámaras de los soldados, a los investigadores a seleccionar información a través de vídeos grabados con teléfonos móviles en sucesos como el atentado en el maratón de Boston, o a los mayores que usan esta herramienta en su día a día para compensar pérdidas de memoria.
Los investigadores se adelantan así a lo que está por venir, sobre todo cuando se extienda el uso comercial de dispositivos como Looxcie, la primera videocámara con conexión móvil y manos libres, o las novedosas Google Glass, un paso más en la realidad aumentada.
“La cantidad de lo que nosotros llamamos vídeo 'egocéntrico', aquel que graba lo que sucede alrededor de la perspectiva de una persona, está a punto de explotar”, avanza Kristen Grauman, profesora asociada de Ciencias de la Computación, en un comunicado de la UT. Por ello, “vamos a necesitar mejores métodos para resumir y seleccionar de entre todos esos datos”, continúa.
La necesidad es cada vez más clara, pues aparecen nuevos dispositivos y escenarios que generan vídeos de gran volumen, por lo que resulta complicado revisarlos al detalle. Además, con los métodos actuales, existe el riesgo de perder información esencial al sintetizar la grabación.
Como alternativa, Grauman y su equipo han desarrollado una avanzada técnica que utiliza aprendizaje automático para analizar los vídeos grabados, de forma que puedan acortarlos mediante clips muy breves o una serie de imágenes fijas que sigan transmitiendo la esencia de la historia. El método, al que han bautizado como videoresumen “Story-driven”, se presentó este verano en la Conferencia IEEE sobre Visión Artificial y Reconocimiento de Patrones.
Este tipo de videoresumen ayudará a las autoridades militares a gestionar las imágenes de las cámaras de los soldados, a los investigadores a seleccionar información a través de vídeos grabados con teléfonos móviles en sucesos como el atentado en el maratón de Boston, o a los mayores que usan esta herramienta en su día a día para compensar pérdidas de memoria.
Esquema de los objetos visualizados en distintos fotogramas. Fuente: UT
Esencia y coherencia
Diversos estudios demuestran la utilidad que supone para personas con pérdidas de memoria llevar una cámara en su vida diaria, la cual toma una instantánea una vez por minuto de todo aquello que le rodea.
El hecho de revisar esas imágenes al final del día puede ayudarles en su recuperación. Pero, “¿y si en lugar de imágenes seleccionadas por un minuto de diferencia, tuvieran un vídeo o resumen fotográfico cribado con las mejores historias? Tal vez eso les ayudaría aún más”. Ese es el planteamiento de Grauman y el objetivo que persigue con su método.
Para ponerlo en práctica se valieron de grabaciones de más de 12 horas de actividad diaria tomadas por 23 voluntarios que utilizaron cámaras Looxcie. Se trata de dispositivos que se ajustan cómodamente en la oreja como un dispositivo Bluetooth convencional y son capaces de grabar hasta cinco horas seguidas. Se conectan al smartphone para compartir los contenidos generados, y cuestan alrededor de 200 dólares.
El siguiente paso era determinar qué hace buena una historia visual. Los métodos tradicionales para resumir vídeos seleccionan bien una serie de fotogramas clave o aquellas tomas que mejor representan la entrada original. Para ello se basan en factores como la diversidad (fotogramas no redundantes), anomalías (sucesos inusuales), y el espacio temporal. Se tiene en cuenta el movimiento o el color, y se rastrean objetos de interés.
Todo ello consigue reducir el tiempo de visionado, pero para los investigadores se trata de una opción “demasiado limitante”, pues no se atiende al progreso de las acciones. Como resultado, se pueden omitir sucesos importantes -pero cortos en el tiempo-, mientras se mantienen los redundantes -aunque visualmente diversos- que no afectan a la narrativa general.
Por tanto, Grauman y su equipo tienen claro que más allá de mostrar personas, objetos o escenarios importantes, se debe transmitir cómo una cosa lleva a la siguiente. En definitiva, darle coherencia a la narración visual.
Diversos estudios demuestran la utilidad que supone para personas con pérdidas de memoria llevar una cámara en su vida diaria, la cual toma una instantánea una vez por minuto de todo aquello que le rodea.
El hecho de revisar esas imágenes al final del día puede ayudarles en su recuperación. Pero, “¿y si en lugar de imágenes seleccionadas por un minuto de diferencia, tuvieran un vídeo o resumen fotográfico cribado con las mejores historias? Tal vez eso les ayudaría aún más”. Ese es el planteamiento de Grauman y el objetivo que persigue con su método.
Para ponerlo en práctica se valieron de grabaciones de más de 12 horas de actividad diaria tomadas por 23 voluntarios que utilizaron cámaras Looxcie. Se trata de dispositivos que se ajustan cómodamente en la oreja como un dispositivo Bluetooth convencional y son capaces de grabar hasta cinco horas seguidas. Se conectan al smartphone para compartir los contenidos generados, y cuestan alrededor de 200 dólares.
El siguiente paso era determinar qué hace buena una historia visual. Los métodos tradicionales para resumir vídeos seleccionan bien una serie de fotogramas clave o aquellas tomas que mejor representan la entrada original. Para ello se basan en factores como la diversidad (fotogramas no redundantes), anomalías (sucesos inusuales), y el espacio temporal. Se tiene en cuenta el movimiento o el color, y se rastrean objetos de interés.
Todo ello consigue reducir el tiempo de visionado, pero para los investigadores se trata de una opción “demasiado limitante”, pues no se atiende al progreso de las acciones. Como resultado, se pueden omitir sucesos importantes -pero cortos en el tiempo-, mientras se mantienen los redundantes -aunque visualmente diversos- que no afectan a la narrativa general.
Por tanto, Grauman y su equipo tienen claro que más allá de mostrar personas, objetos o escenarios importantes, se debe transmitir cómo una cosa lleva a la siguiente. En definitiva, darle coherencia a la narración visual.
Buscar la influencia
Una vez claro el objetivo, el mecanismo consta de dos pasos. El primero implica el uso de técnicas de aprendizaje automático para enseñar al sistema de “puntuación” el significado de los objetos visualizados. Para ello se basan en factores egocéntricos, tales como la frecuencia con la que aparecen ciertos objetos en el centro de la imagen, que es un buen indicador de hacía dónde mira el portador de la cámara, o si los toca con sus manos. De esta forma se seleccionan los fotogramas más importantes.
El siguiente paso fue utilizar dichos fotogramas para buscar aquellos que influyen en los posteriores. Para ello adaptaron un método desarrollado por investigadores de la Universidad Carnegie Mellon, en Estados Unidos, que podía predecir cómo una noticia lleva a la otra, reuniendo una serie de artículos para la transición desde un punto de partida a un punto final conocido.
En el trabajo sobre texto, los investigadores prestaron especial atención a la frecuencia de uso de ciertas palabras y a las correlaciones a través de artículos para cuantificar su influencia. Para su adaptación al vídeo, Grauman y su equipo utilizaron objetos y fotogramas significativos para hacer lo mismo. Así fueron capaces de dar forma a una cadena de vídeos ensamblados eficientemente para rellenar la historia de principio a fin.
A continuación realizaron encuestas para comparar su método con los anteriores, y “entre el 75 y el 90 por ciento de las personas que evaluaron los resúmenes calificaron nuestro sistema como superior", asegura la profesora.
La misma considera que a medida que las técnicas para sumariar vídeos sigan mejorando, se convertirán en una valiosa herramienta no sólo para aquellos con necesidades muy especializadas, como los investigadores policiales y los que sufren pérdida de memoria, sino también para los usuarios habituales de Internet.
De hecho, mejorar la exploración de vídeo en la web es una de las aplicaciones que se augura al sistema. Grauman puso como ejemplo la posibilidad de visualizar 50 imágenes en una página web. “Es manejable, ya que se pueden desplazar hacia arriba o abajo y verlas todos de una sola pasada. Ahora imagínese tratando de ver 50 vídeos online; simplemente no es viable”, sentencia. Ahí radica su próximo reto.
Una vez claro el objetivo, el mecanismo consta de dos pasos. El primero implica el uso de técnicas de aprendizaje automático para enseñar al sistema de “puntuación” el significado de los objetos visualizados. Para ello se basan en factores egocéntricos, tales como la frecuencia con la que aparecen ciertos objetos en el centro de la imagen, que es un buen indicador de hacía dónde mira el portador de la cámara, o si los toca con sus manos. De esta forma se seleccionan los fotogramas más importantes.
El siguiente paso fue utilizar dichos fotogramas para buscar aquellos que influyen en los posteriores. Para ello adaptaron un método desarrollado por investigadores de la Universidad Carnegie Mellon, en Estados Unidos, que podía predecir cómo una noticia lleva a la otra, reuniendo una serie de artículos para la transición desde un punto de partida a un punto final conocido.
En el trabajo sobre texto, los investigadores prestaron especial atención a la frecuencia de uso de ciertas palabras y a las correlaciones a través de artículos para cuantificar su influencia. Para su adaptación al vídeo, Grauman y su equipo utilizaron objetos y fotogramas significativos para hacer lo mismo. Así fueron capaces de dar forma a una cadena de vídeos ensamblados eficientemente para rellenar la historia de principio a fin.
A continuación realizaron encuestas para comparar su método con los anteriores, y “entre el 75 y el 90 por ciento de las personas que evaluaron los resúmenes calificaron nuestro sistema como superior", asegura la profesora.
La misma considera que a medida que las técnicas para sumariar vídeos sigan mejorando, se convertirán en una valiosa herramienta no sólo para aquellos con necesidades muy especializadas, como los investigadores policiales y los que sufren pérdida de memoria, sino también para los usuarios habituales de Internet.
De hecho, mejorar la exploración de vídeo en la web es una de las aplicaciones que se augura al sistema. Grauman puso como ejemplo la posibilidad de visualizar 50 imágenes en una página web. “Es manejable, ya que se pueden desplazar hacia arriba o abajo y verlas todos de una sola pasada. Ahora imagínese tratando de ver 50 vídeos online; simplemente no es viable”, sentencia. Ahí radica su próximo reto.