Reconstrucción de Imágenes Naturales Auto-supervisada y Clasificación Semántica a Gran Escala a partir de la Actividad Cerebral

Reconstruir imágenes naturales y decodificar su categoría semántica a partir de grabaciones de fMRI es un desafío. Adquirir suficientes pares de imágenes y sus correspondientes respuestas de fMRI, que abarcan el enorme espacio de imágenes naturales, es prohibitivamente costoso. Presentamos un nuevo enfoque auto-supervisado que va más allá de los escasos datos emparejados, para lograr ambos: (i) reconstrucción de imágenes a partir de fMRI de última generación, y (ii) la primera clasificación semántica a gran escala a partir de respuestas de fMRI. Al imponer consistencia cíclica entre un par de redes neuronales profundas (de imagen a fMRI y de fMRI a imagen), entrenamos nuestra red de reconstrucción de imágenes en un gran número de imágenes naturales "no emparejadas" (imágenes sin grabaciones de fMRI) de muchas categorías semánticas novedosas. Esto permite adaptar nuestra red de reconstrucción a una cobertura semántica muy rica sin requerir supervisión semántica explícita. Específicamente, encontramos que combinar nuestro entrenamiento auto-supervisado con pérdidas perceptuales de alto nivel da lugar a nuevas capacidades de reconstrucción y clasificación. En particular, este entrenamiento perceptual permite clasificar bien fMRIs de clases semánticas nunca antes vistas, sin requerir etiquetas de clase durante el entrenamiento. Esto da lugar a: (i) una reconstrucción de imagen sin precedentes a partir de fMRI de imágenes nunca antes vistas (evaluadas mediante métricas de imagen y pruebas humanas), y (ii) clasificación semántica a gran escala de categorías que nunca se vieron durante el entrenamiento de la red. Tal clasificación semántica a gran escala (de 1000 vías) a partir de grabaciones de fMRI nunca se ha demostrado antes. Finalmente, proporcionamos evidencia de la consistencia biológica de nuestro modelo aprendido.