Reconhecimento de Emoções Baseado em EEG Usando LSTM de Convolução Gráfico Espacial-Temporal com Mecanismo de Atenção

A relação dinâmica incerta entre cada região do cérebro é um fator necessário que limita o reconhecimento de emoções baseado em EEG. É um problema instigante empregar características espaciais e temporais variáveis ao longo do tempo a partir de sinais de eletroencefalograma (EEG) multicanal. Embora o aprendizado profundo tenha alcançado conquistas notáveis no reconhecimento de emoções, a informação topológica biológica entre as regiões do cérebro não é totalmente explorada, o que é vital para o reconhecimento de emoções baseado em EEG. Em resposta a esse problema, projetamos um modelo híbrido chamado ST-GCLSTM, que compreende um módulo de rede convolucional gráfico espacial (SGCN) e um módulo de memória de longo e curto prazo (LSTM) bi-direcional aprimorado por atenção. A principal vantagem do ST-GCLSTM é que ele pode considerar a informação topológica biológica de cada região do cérebro para extrair características espaciais e temporais representativas de múltiplos canais de EEG. Especificamente, construímos duas camadas de SGCN introduzindo matrizes de adjacência para aprender de forma adaptativa a conexão intrínseca entre diferentes canais de EEG. Além disso, um mecanismo aprimorado de atenção é inserido em um módulo de LSTM bi-direcional para extrair as características espaciais e temporais cruciais de dados sequenciais de EEG, e essas características servem como a camada de entrada do classificador para aprender características relacionadas a emoções discriminativas. Experimentos extensivos nos conjuntos de dados DEAP, SEED e SEED-IV demonstram a eficácia do modelo ST-GCLSTM proposto, revelando que nosso modelo teve uma melhoria absoluta de desempenho em relação às estratégias de ponta.