空間-時間的およびトランスフォーマーベースのパラダイムを用いた視覚脳デコーディングのためのEEG分類

本研究では、2つの異なる学習パラダイムを含む2つのフレームワークを通じて、視覚脳デコーディングの領域におけるEEG分類タスクに取り組みます。EEGデータの空間-時間的性質を考慮し、我々のフレームワークの1つはCNN-BiLSTMモデルに基づいています。もう1つは、より多様な注意ベースの学習パラダイムを本質的に含むCNN-トランスフォーマーアーキテクチャを含みます。どちらの場合も、特別な1D-CNN特徴抽出モジュールを使用して、時間およびEEGチャンネル領域で1D畳み込みにより初期の埋め込みを生成します。EEG信号はノイズが多く、非定常であり、識別特徴は（テキストや画像などの意味的に構造化されたデータに比べて）さらに不明瞭であることを考慮し、推論時にはウィンドウベースの分類を行い、過半数投票を行って信号レベルでラベルを生成します。脳パターンが異なる画像クラスとどのように相関するかを示すために、トップ10クラスのBiLSTM埋め込みと脳活性化マップのt-SNEプロットを視覚化します。これらの視覚化は、各視覚カテゴリに関連する独自の神経サインについての洞察を提供し、BiLSTMの視覚刺激に関連する識別的な脳活動をキャプチャし表現する能力を示しています。我々は、最先端の方法と比較して肯定的な結果を得た更新されたEEG-Imagenetデータセットに対する我々のアプローチの性能を示します。