El área 5pointz, en Queens, repleto de graffitis. Fuente: Universidad de Cornell.
Imagine una versión de Google Street View en la que se pueda pulsar el botón de rebobinado y ver un lugar en cualquier punto de los últimos cinco años. Investigadores de la Universidad de Cornell (Ithaca, Nueva York, EE.UU.) están construyendo algo así, por lo menos para unos pocos lugares muy visitados.
Noah Snavely, profesor ayudante de ciencias de la computación, ya ha recopilado millones de imágenes de sitios para compartir fotos de Internet y vistas combinadas de lugares populares tomadas desde diferentes ángulos para crear modelos en 3D.
Ahora Snavely y el estudiante de posgrado Kevin Matzen han añadido la cuarta dimensión del tiempo con su sistema Scene Cronología (Cronología de un Lugar). En los modelos que han desarrollado de Times Square (Nueva York), el distrito comercial Akhibahara de Tokio y 5Pointz, un área de exhibición de graffiti en Queens (también Nueva York), un observador puede navegar por el interior de un espacio virtual en 3D mientras utiliza un control deslizante para avanzar y retroceder en el tiempo.
En Times Square, las marquesinas de los teatros se ajustan al ritmo de lanzamientos de las películas. En el modelo de Akhibahara, se pueden ver los cambios de edificios enteros. Cuando se aplica al graffiti, el sistema ofrece una nueva manera de preservar y comparar el arte efímero.
"Al reflexionar sobre el tiempo en las colecciones de imágenes, cada observación tiene algo que decir", señalan los investigadores en la información de Cornell. Hicieron público su trabajo en septiembre, en la Conferencia Europea 2014 sobre Visión por Computador, celebrada en Zúrich (Suiza), donde recibieron un premio al mejor artículo.
Su software trabaja con superficies planas -carteles, paredes, fachadas o marquesinas de los teatros- y las trata como "parches" que se cosen unos a otros para crear la escena global. Cada parche puede verse como una serie de planos apilados en un sólido en tres dimensiones, como tarjetas índice en un archivador, donde la dimensión delante-atrás es el tiempo. Para crear un modelo en 3-D de la escena global en un momento determinado en el tiempo, el equipo une rebanadas tomadas de cada sólido en ese momento.
Limitaciones
Hasta ahora, la pantalla muestra sólo los planos, porque el algoritmo no reconoce las "aburridas" superficies planas, grises y marrones, de las paredes y el pavimento, explica Matzen: Esa será una mejora para el futuro.
Otra limitación, explica el artículo, es que se parte de la (errónea) suposición de que la geometría es estática. Por ejemplo, en 2009 una escalera en 5Pointz se derrumbó. Aunque eso quedó recogido en las imágenes, produjo confusión al algoritmo al fechar algunas de ellas.
Asimismo, la suposición de que los objetos entran y salen sólo una vez puede romperse. El conjunto de datos de 5Pointz tiene al menos un ejemplo en el que el graffiti se cubrió y fue restaurado posteriormente. Tanto el grafitti original, como su superficie protectora se reconstruyeron como dos segmentos separados, pero la reaparición del graffiti fue suprimida en la reconstrucción temporal.
Por último, el algoritmo funciona mucho mejor para los segmentos en el medio de la línea de tiempo del conjunto de datos. Los que ocurren muy temprano (antes de 2005) o muy tarde (después de 2013), a menudo no tienen observaciones negativas con las que comparar.
Noah Snavely, profesor ayudante de ciencias de la computación, ya ha recopilado millones de imágenes de sitios para compartir fotos de Internet y vistas combinadas de lugares populares tomadas desde diferentes ángulos para crear modelos en 3D.
Ahora Snavely y el estudiante de posgrado Kevin Matzen han añadido la cuarta dimensión del tiempo con su sistema Scene Cronología (Cronología de un Lugar). En los modelos que han desarrollado de Times Square (Nueva York), el distrito comercial Akhibahara de Tokio y 5Pointz, un área de exhibición de graffiti en Queens (también Nueva York), un observador puede navegar por el interior de un espacio virtual en 3D mientras utiliza un control deslizante para avanzar y retroceder en el tiempo.
En Times Square, las marquesinas de los teatros se ajustan al ritmo de lanzamientos de las películas. En el modelo de Akhibahara, se pueden ver los cambios de edificios enteros. Cuando se aplica al graffiti, el sistema ofrece una nueva manera de preservar y comparar el arte efímero.
"Al reflexionar sobre el tiempo en las colecciones de imágenes, cada observación tiene algo que decir", señalan los investigadores en la información de Cornell. Hicieron público su trabajo en septiembre, en la Conferencia Europea 2014 sobre Visión por Computador, celebrada en Zúrich (Suiza), donde recibieron un premio al mejor artículo.
Su software trabaja con superficies planas -carteles, paredes, fachadas o marquesinas de los teatros- y las trata como "parches" que se cosen unos a otros para crear la escena global. Cada parche puede verse como una serie de planos apilados en un sólido en tres dimensiones, como tarjetas índice en un archivador, donde la dimensión delante-atrás es el tiempo. Para crear un modelo en 3-D de la escena global en un momento determinado en el tiempo, el equipo une rebanadas tomadas de cada sólido en ese momento.
Limitaciones
Hasta ahora, la pantalla muestra sólo los planos, porque el algoritmo no reconoce las "aburridas" superficies planas, grises y marrones, de las paredes y el pavimento, explica Matzen: Esa será una mejora para el futuro.
Otra limitación, explica el artículo, es que se parte de la (errónea) suposición de que la geometría es estática. Por ejemplo, en 2009 una escalera en 5Pointz se derrumbó. Aunque eso quedó recogido en las imágenes, produjo confusión al algoritmo al fechar algunas de ellas.
Asimismo, la suposición de que los objetos entran y salen sólo una vez puede romperse. El conjunto de datos de 5Pointz tiene al menos un ejemplo en el que el graffiti se cubrió y fue restaurado posteriormente. Tanto el grafitti original, como su superficie protectora se reconstruyeron como dos segmentos separados, pero la reaparición del graffiti fue suprimida en la reconstrucción temporal.
Por último, el algoritmo funciona mucho mejor para los segmentos en el medio de la línea de tiempo del conjunto de datos. Los que ocurren muy temprano (antes de 2005) o muy tarde (después de 2013), a menudo no tienen observaciones negativas con las que comparar.
Fechado
Conseguir que el fechado de las fotos sea el correcto fue todo un reto. Los fotógrafos aficionados no siempre fijan correctamente los relojes de sus cámaras. En los primeros experimentos, los observadores humanos encontraron anomalías en las imágenes, como personas llevando ropa de invierno en julio o anuncios para películas que no habían salido aún.
Así que el equipo compila listas de observaciones de una determinada característica y observaciones negativas -es decir, que la característica no aparece- y calcula un lapso de tiempo durante el cual existió. Para representar toda la escena en un momento determinado, el equipo selecciona los elementos cuyos lapsos de tiempo incluyen ese momento.
Una vez que se crea un modelo en 4-D de una escena, una nueva foto puede ser fechada comparándola con el modelo. Una combinación dada de vallas publicitarias y carteles de cine en una imagen de Times Square podría precisar el día exacto en que una foto fue tomada.
Volumen
El sistema puede procesar de decenas a cientos de miles de fotos de una escena determinada. La base de datos de Times Square contiene unas 250.000 imágenes. El número de fotos disponibles en línea de otras muchas localizaciones está aumentando rápidamente, señalan los investigadores. Según Facebook y otras redes sociales, cada día se suben alrededor de 1.800 millones de fotos nuevas.
"Dentro de unas décadas, una vez que hayamos acumulado un enorme cuerpo de fotos, podríamos volver atrás y abordar lugares que ahora tienen sólo unas pocas", explica Matzen. "Imaginemos un futuro en el que 100 años de años de fotos estén disponibles para cualquier lugar". También podemos cambiar la manera en que vemos la fotografía, añade. "Algún día, cualquier foto que pueda pensar hacer, ya la habrá hecho otra persona."
La investigación fue financiada por la Fundación Nacional para la Ciencia, el Centro Intel de Ciencia y Tecnología para la Computación Visual, y Amazon Web Services in Education.
Conseguir que el fechado de las fotos sea el correcto fue todo un reto. Los fotógrafos aficionados no siempre fijan correctamente los relojes de sus cámaras. En los primeros experimentos, los observadores humanos encontraron anomalías en las imágenes, como personas llevando ropa de invierno en julio o anuncios para películas que no habían salido aún.
Así que el equipo compila listas de observaciones de una determinada característica y observaciones negativas -es decir, que la característica no aparece- y calcula un lapso de tiempo durante el cual existió. Para representar toda la escena en un momento determinado, el equipo selecciona los elementos cuyos lapsos de tiempo incluyen ese momento.
Una vez que se crea un modelo en 4-D de una escena, una nueva foto puede ser fechada comparándola con el modelo. Una combinación dada de vallas publicitarias y carteles de cine en una imagen de Times Square podría precisar el día exacto en que una foto fue tomada.
Volumen
El sistema puede procesar de decenas a cientos de miles de fotos de una escena determinada. La base de datos de Times Square contiene unas 250.000 imágenes. El número de fotos disponibles en línea de otras muchas localizaciones está aumentando rápidamente, señalan los investigadores. Según Facebook y otras redes sociales, cada día se suben alrededor de 1.800 millones de fotos nuevas.
"Dentro de unas décadas, una vez que hayamos acumulado un enorme cuerpo de fotos, podríamos volver atrás y abordar lugares que ahora tienen sólo unas pocas", explica Matzen. "Imaginemos un futuro en el que 100 años de años de fotos estén disponibles para cualquier lugar". También podemos cambiar la manera en que vemos la fotografía, añade. "Algún día, cualquier foto que pueda pensar hacer, ya la habrá hecho otra persona."
La investigación fue financiada por la Fundación Nacional para la Ciencia, el Centro Intel de Ciencia y Tecnología para la Computación Visual, y Amazon Web Services in Education.
Referencia bibliográfica:
Kevin Matzen y Noah Snavely: Scene Chronology. Universidad de Cornell (2014).
Kevin Matzen y Noah Snavely: Scene Chronology. Universidad de Cornell (2014).