Key points are not available for this paper at this time.
Les émotions jouent un rôle central dans la communication humaine, la reconnaissance automatique des émotions a attiré une attention croissante au cours des deux dernières décennies. Bien que les systèmes multimodaux affichent de hautes performances sur des données contrôlées en laboratoire, ils sont encore loin de fournir une validité écologique sur des données non contrôlées en laboratoire, à savoir des données 'dans la nature'. Ce travail examine les approches d'apprentissage profond audio-visuel pour le problème de reconnaissance des émotions dans la nature. Nous explorons particulièrement l'efficacité des architectures basées sur des Réseaux de Neurones Convolutifs (CNN) affinés et le Modèle Émotionnel Dimensionnel Public (PDEM), pour la modalité vidéo et audio, respectivement. Nous comparons les stratégies alternatives de modélisation temporelle et de fusion en utilisant les embeddings de ces Réseaux de Neurones Profonds (DNN) spécifiques à chaque modalité entraînés en plusieurs étapes. Nous rapportons les résultats sur le jeu de données AffWild2 selon le protocole du défi d'Analyse du Comportement Affectif dans la Nature 2024 (ABAW'24).
Dresvyanskiy et al. (Mar,) ont étudié cette question.