지식 증류 및 잠재 확산 모델을 통한 뇌파(EEG) 기반 시각 뇌 표현 해독

인간 뇌 활동으로부터 시각 표현을 해독하는 연구는 특히 뇌-컴퓨터 인터페이스 분야에서 활발한 연구 영역으로 부상하고 있습니다. 본 연구는 참가자들이 직접 이미지를 본 EEG 데이터를 활용하여 EEG 분류기를 훈련시키고 ImageNet 및 THINGS-EEG 2 데이터셋의 이미지를 재구성하는 지식 증류 기법을 적용한 혁신적인 방법을 제시합니다("뇌 해독"). ImageNet 데이터셋의 6명, THINGS-EEG 2 데이터셋의 10명의 참가자로부터 각기 고유한 의미 범주의 이미지에 노출된 EEG 기록을 분석하였습니다. 이 EEG 신호는 스펙트로그램으로 변환되었고, 사전훈련된 CLIP 기반 이미지 분류 교사 네트워크를 활용한 지식 증류 절차와 통합된 합성곱 신경망(CNN) 학습에 사용되었습니다. 이 전략을 통해 본 모델은 표준 CNN 및 다양한 RNN 기반 벤치마크 대비 유의미하게 높은 87%의 top-5 정확도를 달성하였습니다. 또한 사전훈련된 잠재 확산 모델에 기반한 이미지 재구성 메커니즘을 도입하여 EEG 신호를 유발한 이미지의 추정치를 생성할 수 있었습니다. 따라서 본 아키텍처는 신경 활동에서 이미지를 해독할 뿐 아니라 EEG만으로도 신뢰할 수 있는 이미지 재구성을 제공하여, 예를 들어 신속하고 개별화된 피드백 실험의 가능성을 열어줍니다.