Muestra de alguna de las 40.000 imágenes con sus etiquetas. Fuente: Georgia Tech
El ser humano sigue unos patrones constantes por naturaleza, rutinas que los investigadores tratan de captar para poder ofrecer información acorde en forma de algoritmo. Es lo que ha conseguido un equipo del Georgia Tech, en Estados Unidos, que ha desarrollado un nuevo método que enseña a los ordenadores a ver y entender lo que hacen las personas en su vida diaria.
A diferencia de otros estudios actuales, este análisis se basa en métodos de aprendizaje profundo, una variante del aprendizaje automático basada en aprender representaciones de datos, en este caso, a partir de imágenes.
Según explica la universidad en un comunicado, para lograrlo hicieron una prueba con voluntarios en la que recopilaron más de 40.000 imágenes, tomadas cada 30 a 60 segundos, en un período de 6 meses. A cada una le acompaña información contextual relevante, como la hora y día de la semana, para conocer y predecir las actividades diarias de una persona. Los investigadores prepararon al equipo para clasificar las fotografías en 19 actividades o rutinas diferentes.
Cada voluntario revisaba las fotos al final del día (borrando cualquiera que invadiera su privacidad), para asegurarse de que se archivaban correctamente. Y todo ello sin necesidad de un hardware especializado o costoso. Bastó un smartphone colgado al cuello en una cinta de identificación con la aplicación para la recopilación de datos personalizada instalada.
La clasificación se realiza utilizando una red neuronal convolucional (CNN), un tipo de red neuronal artificial donde las neuronas corresponden a campos receptivos de una manera muy similar a como lo hacen en un cerebro biológico, por lo que se trata de una técnica especialmente eficaz para clasificar imágenes.
La red se estructura en múltiples capas con diferentes funciones: al principio se encuentra la fase de extracción de características, compuesta de neuronas convolucionales y de reducción de muestreo, y al final las neuronas de perceptron sencillas, para realizar la clasificación final sobre las características extraídas.
Como resultado, el equipo fue capaz de predecir con un 83 por ciento de exactitud la actividad que cada persona estaba haciendo. "Fue sorprendente la capacidad del método para clasificar correctamente imágenes que podían generalizarse a otra persona dos días después de su registro", destaca Steven Hickson, investigador principal del proyecto. Además demostraron algunos resultados prometedores, con los datos aportados por dos usuarios adicionales en un solo día de entrenamiento.
A diferencia de otros estudios actuales, este análisis se basa en métodos de aprendizaje profundo, una variante del aprendizaje automático basada en aprender representaciones de datos, en este caso, a partir de imágenes.
Según explica la universidad en un comunicado, para lograrlo hicieron una prueba con voluntarios en la que recopilaron más de 40.000 imágenes, tomadas cada 30 a 60 segundos, en un período de 6 meses. A cada una le acompaña información contextual relevante, como la hora y día de la semana, para conocer y predecir las actividades diarias de una persona. Los investigadores prepararon al equipo para clasificar las fotografías en 19 actividades o rutinas diferentes.
Cada voluntario revisaba las fotos al final del día (borrando cualquiera que invadiera su privacidad), para asegurarse de que se archivaban correctamente. Y todo ello sin necesidad de un hardware especializado o costoso. Bastó un smartphone colgado al cuello en una cinta de identificación con la aplicación para la recopilación de datos personalizada instalada.
La clasificación se realiza utilizando una red neuronal convolucional (CNN), un tipo de red neuronal artificial donde las neuronas corresponden a campos receptivos de una manera muy similar a como lo hacen en un cerebro biológico, por lo que se trata de una técnica especialmente eficaz para clasificar imágenes.
La red se estructura en múltiples capas con diferentes funciones: al principio se encuentra la fase de extracción de características, compuesta de neuronas convolucionales y de reducción de muestreo, y al final las neuronas de perceptron sencillas, para realizar la clasificación final sobre las características extraídas.
Como resultado, el equipo fue capaz de predecir con un 83 por ciento de exactitud la actividad que cada persona estaba haciendo. "Fue sorprendente la capacidad del método para clasificar correctamente imágenes que podían generalizarse a otra persona dos días después de su registro", destaca Steven Hickson, investigador principal del proyecto. Además demostraron algunos resultados prometedores, con los datos aportados por dos usuarios adicionales en un solo día de entrenamiento.
Visión artificial
De esta forma se pretende mejorar la manera de entender las actividades del día a día y crear sistemas que puedan reconocer esas rutinas al detalle. Al igual que ya existen dispositivos de seguimiento de actividad como Fitbit, que ofrecen información sobre los pasos dados o kilómetros recorridos, esta investigación va un paso más allá, realizando un seguimiento de todas las actividades, no sólo las que implican ejercicio físico.
La diferencia, en este caso, es que se recurre a técnicas de visión artificial para obtener la información. En concreto, el equipo cree que ha reunido la mayor base de datos de imágenes tomadas en primera persona para demostrar que a través de algoritmos de aprendizaje profundo se puede entender el comportamiento humano y los hábitos de una persona específica.
El método se presentó el mes pasado con bastante expectación en la Conferencia Internacional sobre Computación Ubicua (Ubicomp) celebrada en Japón, dedicada a todo tipo de dispositivos emergentes integrados en el entorno de la persona, de forma que no se perciben como objetos diferenciados.
"A la gente le gusta que nuestro método combine tiempo e imágenes", asegura Daniel Castro, investigador encargado de hacer la presentación. "El tiempo puede ser especialmente importante para algunos tipos de actividades. Este sistema aprendió a reconocer como imágenes relevantes aquellas en las que más horas invertía la gente", añade.
De esta forma se pretende mejorar la manera de entender las actividades del día a día y crear sistemas que puedan reconocer esas rutinas al detalle. Al igual que ya existen dispositivos de seguimiento de actividad como Fitbit, que ofrecen información sobre los pasos dados o kilómetros recorridos, esta investigación va un paso más allá, realizando un seguimiento de todas las actividades, no sólo las que implican ejercicio físico.
La diferencia, en este caso, es que se recurre a técnicas de visión artificial para obtener la información. En concreto, el equipo cree que ha reunido la mayor base de datos de imágenes tomadas en primera persona para demostrar que a través de algoritmos de aprendizaje profundo se puede entender el comportamiento humano y los hábitos de una persona específica.
El método se presentó el mes pasado con bastante expectación en la Conferencia Internacional sobre Computación Ubicua (Ubicomp) celebrada en Japón, dedicada a todo tipo de dispositivos emergentes integrados en el entorno de la persona, de forma que no se perciben como objetos diferenciados.
"A la gente le gusta que nuestro método combine tiempo e imágenes", asegura Daniel Castro, investigador encargado de hacer la presentación. "El tiempo puede ser especialmente importante para algunos tipos de actividades. Este sistema aprendió a reconocer como imágenes relevantes aquellas en las que más horas invertía la gente", añade.
Como hardware bastó un smartphone con la aplicación para la recopilación de datos. Fuente: Georgia Tech
Utilidades
La capacidad de ver y reconocer –literalmente- actividades humanas, puede ser de utilidad para mejorar asistentes personales como Siri o ayudar a los investigadores a explicar los vínculos entre hábitos, comportamientos y salud. Los investigadores auguran que algún día en la próxima década existirán dispositivos ubicuos para mejorar las elecciones personales según el momento del día.
"Imagine un dispositivo capaz de aprender lo que estaría haciendo una persona en un momento del futuro y, frente a ello, le recomienda una alternativa", subraya Castro. "Una vez que construye su propio horario, conociendo sus rutinas y lo que está haciendo, el sistema puede avisar de un retraso a causa del tráfico y proponer adelantar la salida o tomar una ruta alternativa", explica el investigador.
Estas son acciones que, en cierta medida, ya realiza Google Now, aunque en este caso se basa en el aprendizaje del lenguaje natural en lugar del análisis de imágenes. Esta herramienta absorbe toda la información que se vuelca a diario en acciones de Gmail, búsquedas de Google..., ofreciéndola en forma de ayuda o asistente personal en el momento justo, sin necesidad de buscarla ni hacer absolutamente nada.
La capacidad de ver y reconocer –literalmente- actividades humanas, puede ser de utilidad para mejorar asistentes personales como Siri o ayudar a los investigadores a explicar los vínculos entre hábitos, comportamientos y salud. Los investigadores auguran que algún día en la próxima década existirán dispositivos ubicuos para mejorar las elecciones personales según el momento del día.
"Imagine un dispositivo capaz de aprender lo que estaría haciendo una persona en un momento del futuro y, frente a ello, le recomienda una alternativa", subraya Castro. "Una vez que construye su propio horario, conociendo sus rutinas y lo que está haciendo, el sistema puede avisar de un retraso a causa del tráfico y proponer adelantar la salida o tomar una ruta alternativa", explica el investigador.
Estas son acciones que, en cierta medida, ya realiza Google Now, aunque en este caso se basa en el aprendizaje del lenguaje natural en lugar del análisis de imágenes. Esta herramienta absorbe toda la información que se vuelca a diario en acciones de Gmail, búsquedas de Google..., ofreciéndola en forma de ayuda o asistente personal en el momento justo, sin necesidad de buscarla ni hacer absolutamente nada.