Proceso de la reconstrucción de imágenes mentales. Imagen: Kamitany Lab. Kyoto University.
Científicos del Kamitani Lab de la Universidad japonesa de Kyoto han desarrollado una red neuronal que ha sido capaz de leer lo que una persona tiene en su mente y, además, de reflejarlo en una pantalla.
Lo han conseguido mediante un algoritmo que interpreta y reproduce con exactitud las imágenes que registra el cerebro después de verlas en una pantalla. También es capaz de interpretar y reproducir lo que una persona recuerda de las imágenes que ha visto.
Se trata de toda una proeza tecnológica, ya que hasta ahora los resultados obtenidos al usar algoritmos para decodificar imágenes mentales han sido muy limitados. El nuevo trabajo no sólo ha aumentado la precisión en la percepción y reproducción informática de las imágenes mentales, sino que también ha podido interpretar y replicar formas que sólo están en la imaginación de una persona.
Aunque las eventuales aplicaciones de esta nueva tecnología no son inmediatas, esta investigación supone un importante paso adelante para construir sistemas que puedan ayudarnos a proyectar el interior de nuestra mente hacia el exterior del cerebro, señala la revista Science.
En la investigación participaron tres voluntarios con visión normal, a los que se les presentaron tres categorías diferentes de imágenes: de naturaleza, letras y formas geométricas.
Al contemplar esas imágenes, se generó en el cerebro de los voluntarios una actividad de la corteza cerebral que fue la que analizó la red neuronal. Los voluntarios observaron más de 1.000 imágenes varias veces, entre ellas un pez, formas de colores simples y un avión, estímulos que la red neuronal logró interpretar de forma correcta.
Para descubrir qué está viendo una persona, los investigadores recurrieron en primer lugar a la resonancia magnética funcional (fMRI), que mide el flujo de sangre en ciertas regiones del cerebro y desvela así la actividad neuronal.
A través de la fMRI observaron las áreas cerebrales de procesamiento visual correspondientes a cada imagen. Analizaron la actividad cerebral ante la respuesta a cada una de las imágenes por separado, para conseguir que el ordenador pintara una imagen reconstruida a partir de interpretar la actividad cerebral. La reconstrucción de la imagen se consiguió mediante una red neuronal profunda creada especialmente para esta investigación.
Lo han conseguido mediante un algoritmo que interpreta y reproduce con exactitud las imágenes que registra el cerebro después de verlas en una pantalla. También es capaz de interpretar y reproducir lo que una persona recuerda de las imágenes que ha visto.
Se trata de toda una proeza tecnológica, ya que hasta ahora los resultados obtenidos al usar algoritmos para decodificar imágenes mentales han sido muy limitados. El nuevo trabajo no sólo ha aumentado la precisión en la percepción y reproducción informática de las imágenes mentales, sino que también ha podido interpretar y replicar formas que sólo están en la imaginación de una persona.
Aunque las eventuales aplicaciones de esta nueva tecnología no son inmediatas, esta investigación supone un importante paso adelante para construir sistemas que puedan ayudarnos a proyectar el interior de nuestra mente hacia el exterior del cerebro, señala la revista Science.
En la investigación participaron tres voluntarios con visión normal, a los que se les presentaron tres categorías diferentes de imágenes: de naturaleza, letras y formas geométricas.
Al contemplar esas imágenes, se generó en el cerebro de los voluntarios una actividad de la corteza cerebral que fue la que analizó la red neuronal. Los voluntarios observaron más de 1.000 imágenes varias veces, entre ellas un pez, formas de colores simples y un avión, estímulos que la red neuronal logró interpretar de forma correcta.
Para descubrir qué está viendo una persona, los investigadores recurrieron en primer lugar a la resonancia magnética funcional (fMRI), que mide el flujo de sangre en ciertas regiones del cerebro y desvela así la actividad neuronal.
A través de la fMRI observaron las áreas cerebrales de procesamiento visual correspondientes a cada imagen. Analizaron la actividad cerebral ante la respuesta a cada una de las imágenes por separado, para conseguir que el ordenador pintara una imagen reconstruida a partir de interpretar la actividad cerebral. La reconstrucción de la imagen se consiguió mediante una red neuronal profunda creada especialmente para esta investigación.
Aprendizaje profundo
Esta red neuronal forma parte del así llamado aprendizaje profundo, un tipo de aprendizaje automático (machine learning) basado en asimilar representaciones de datos.
Esta red neuronal aprendió a desarrollar tareas de reconocimiento de imágenes a base de ejemplos y por eso fue posible que extrajera información de diferentes niveles del sistema visual del cerebro, desde un simple contraste de luz, hasta un contenido más significativo, como caras.
A continuación, a través de un decodificador, los investigadores crearon representaciones de las respuestas del cerebro a las imágenes, a través de la red neuronal profunda. A partir de ese momento, ya no necesitaron las mediciones de la resonancia magnética funcional, sino las traducciones de la red neuronal.
La reconstrucción de la imagen no es instantánea, ya que la red neuronal profunda, construida a base de algoritmos, la va perfilando a lo largo de unas 200 rondas, comparando la percepción que recibe de la reacción cerebral, con las plantillas de imágenes que tiene almacenadas. Al final, consigue replicar la imagen cerebral, que adquiere más realismo merced a un algoritmo adicional.
El experimento no terminó ahí, sino que la red neuronal fue capaz incluso de replicar imágenes cerebrales obtenidas, no de una visión directa, sino del recuerdo de una imagen vista con anterioridad. El resultado no fue exactamente el mismo, ya que no funcionó bien con los objetos, pero sí con las formas geométricas.
Esta red neuronal forma parte del así llamado aprendizaje profundo, un tipo de aprendizaje automático (machine learning) basado en asimilar representaciones de datos.
Esta red neuronal aprendió a desarrollar tareas de reconocimiento de imágenes a base de ejemplos y por eso fue posible que extrajera información de diferentes niveles del sistema visual del cerebro, desde un simple contraste de luz, hasta un contenido más significativo, como caras.
A continuación, a través de un decodificador, los investigadores crearon representaciones de las respuestas del cerebro a las imágenes, a través de la red neuronal profunda. A partir de ese momento, ya no necesitaron las mediciones de la resonancia magnética funcional, sino las traducciones de la red neuronal.
La reconstrucción de la imagen no es instantánea, ya que la red neuronal profunda, construida a base de algoritmos, la va perfilando a lo largo de unas 200 rondas, comparando la percepción que recibe de la reacción cerebral, con las plantillas de imágenes que tiene almacenadas. Al final, consigue replicar la imagen cerebral, que adquiere más realismo merced a un algoritmo adicional.
El experimento no terminó ahí, sino que la red neuronal fue capaz incluso de replicar imágenes cerebrales obtenidas, no de una visión directa, sino del recuerdo de una imagen vista con anterioridad. El resultado no fue exactamente el mismo, ya que no funcionó bien con los objetos, pero sí con las formas geométricas.
Referencia
Deep image reconstruction from human brain activity. BioRxiv, Guohua Shen, Tomoyasu Horikawa, Kei Majima, Yukiyasu Kamitani. DOI:https://doi.org/10.1101/240317
Deep image reconstruction from human brain activity. BioRxiv, Guohua Shen, Tomoyasu Horikawa, Kei Majima, Yukiyasu Kamitani. DOI:https://doi.org/10.1101/240317