Reconhecimento de emoções na terapia de dança impulsionado pelo DanceEmoNet: um modelo de aprendizado profundo baseado na expressão facial e na estimativa de pose

Com a aplicação generalizada da terapia de dança em intervenções na saúde mental, a identificação precisa e em tempo real das flutuações emocionais tornou-se um desafio significativo. Os métodos existentes de reconhecimento de emoções dependem predominantemente de informações unimodais, dificultando a captura total da complexidade e das dependências temporais das mudanças emocionais. Para abordar isso, o modelo DanceEmoNet é proposto, integrando técnicas de reconhecimento de expressão facial e estimativa de pose para melhorar a precisão do reconhecimento emocional por meio da fusão de características multimodais. O modelo emprega YOLOv11 para detecção de rosto e pose, utiliza uma rede híbrida TriBAN e um modelo CNN-LSTM para extração de características e modelagem temporal, e realiza a fusão de características por meio do módulo GCNC. Comparações experimentais com vários modelos de referência demonstram que o DanceEmoNet alcança melhores resultados em várias métricas, apresentando maior velocidade de inferência (por exemplo, menor latência por quadro) e menor custo computacional (por exemplo, menos FLOPs), com ganhos de desempenho geral variando de 5 a 10%. Os resultados experimentais confirmam as claras forças do DanceEmoNet em capturar mudanças emocionais complexas e movimentos dinâmicos de dança, indicando sua aplicabilidade prática para implantação no mundo real.