Reconstruire l'image perçue à partir de l'activité cérébrale par une représentation cognitive guidée par la vision et un apprentissage adversarial

Reconstruire un stimulus perçu (image) uniquement à partir de l'activité cérébrale humaine mesurée par l'imagerie par résonance magnétique fonctionnelle (IRMf) est une tâche significative dans le décodage cérébral. Cependant, la distribution et la représentation inconsistantes entre les signaux IRMf et les images visuelles causent un grand 'écart de domaine'. De plus, les instances de données IRMf limitées souffrent généralement de problèmes de faible rapport signal/bruit (SNR), d'une dimensionnalité extrêmement élevée et d'une résolution spatiale limitée. Les méthodes existantes sont souvent affectées par ces problèmes, de sorte qu'une reconstruction satisfaisante reste un problème ouvert. Dans cet article, nous montrons qu'il est possible d'obtenir une solution prometteuse en apprenant des représentations cognitives latentes guidées visuellement à partir des signaux IRMf, et en les décodant inversement vers les stimuli d'image. Le cadre résultant est appelé Autoencodeur Variationnel Équilibré/ Réseau Adversarial Génératif (D-Vae/Gan), qui combine les avantages de l'apprentissage de représentations adversariales avec la distillation de connaissances. De plus, nous introduisons une nouvelle stratégie d'apprentissage en trois étapes qui permet à l'encodeur (cognitif) de distiller progressivement des connaissances utiles à partir de l'encodeur (visuel) apparié durant le processus d'apprentissage. D'importants résultats expérimentaux sur des images artificielles et naturelles ont démontré que notre méthode pouvait atteindre des résultats étonnamment bons et surpasser les alternatives disponibles.