뇌 활동에 조건화된 생성적 적대 신경망으로 본 이미지를 재구성하다

우리는 이 시각 자극을 인코딩하는 뇌 활동 측정치(예: fMRI)로부터 시각 자극을 재구성하는 추론 문제를 고려한다. 이미지를 완전히 회복하는 것은 신경 표현이 시끄럽고, 고차원적이며, 이미지 세부정보에 대한 불완전한 정보를 포함한다는 사실로 인해 복잡하다. 따라서 뇌 활동으로부터 복잡한 이미지의 재구성은 강력한 사전 조건이 필요하다. 여기서 우리는 뇌 활동 측정치에 조건화된 이미지의 생성 모델을 학습하기 위해 생성적 적대 신경망(GAN)을 훈련시키는 것을 제안한다. 이 접근법의 두 가지 도전 과제는 다음과 같다: 첫째, GAN 훈련에 일반적으로 수집되는 것보다 훨씬 더 많은 데이터가 필요하므로, 뇌 활동에 조건화된 GAN을 훈련할 수 있는 충분한 샘플을 어떻게 획득할 것인가? 둘째, 생성된 샘플이 fMRI 데이터에 존재하는 잡음에 대해 얼마나 견고한지를 어떻게 보장할 것인가? 이러한 두 가지 문제를 극복하기 위한 우리의 전략은 인코딩 모델에 의해 생성된 대체 뇌 활동 샘플을 만드는 데 중점을 둔다. 우리는 이렇게 훈련된 생성 모델이 이미지 인지 중에 측정된 실제 fMRI 데이터에 일반화되고 자극의 기본 윤곽을 재구성할 수 있음을 발견했다.