ALGRNet : Modélisation Adaptative Multi-R_relationnelle des Unités d'Action Faciale pour la Représentation du Visage et les Reconnaissances Pertinentes

Les unités d'action faciale (AU) représentent les activités fondamentales d'un groupe de muscles, présentant des changements subtils qui sont utiles pour diverses tâches d'analyse du visage. Une application pratique dans des situations réelles est l'estimation automatique de la paralysie faciale. Cela implique l'analyse des changements délicats dans les régions des muscles faciaux et les textures de la peau. Il semble logique d'évaluer la gravité de la paralysie faciale en combinant de manière symétrique des régions musculaires bien définies (similaires aux AU), créant ainsi une représentation faciale complète. À cette fin, nous avons développé un nouveau modèle pour estimer automatiquement la gravité de la paralysie faciale, inspiré par la reconnaissance des unités d'action faciale (FAU) qui traite des informations riches et détaillées sur l'apparence faciale, telles que la texture, l'état des muscles, etc. Plus précisément, un nouveau Réseau Relationnel Adaptatif Local-Global (ALGRNet) est conçu pour exploiter de manière adaptative le contexte des muscles faciaux bien définis et améliorer les détails visuels de l'apparence faciale et de la texture, ce qui peut être facilement adapté aux tâches basées sur le visage, par exemple, la reconnaissance FAU et l'estimation de la paralysie faciale. ALGRNet se compose de trois structures clés : (i) un module d'apprentissage de région adaptatif qui identifie des régions de réponse musculaire à fort potentiel, (ii) un skip-BiLSTM qui modélise les relations latentes entre les régions locales, permettant une meilleure corrélation entre plusieurs muscles lésés régionaux et les changements de texture, et (iii) un module de fusion et de raffinement des caractéristiques qui explore la complémentarité entre les aspects locaux et globaux du visage. Nous avons largement évalué ALGRNet pour démontrer son efficacité en utilisant deux repères AU largement reconnus, BP4D et DISFA. De plus, pour évaluer l'efficacité des FAU dans les applications ultérieures, nous avons examiné leur application dans l'identification de la paralysie faciale. Les résultats expérimentaux obtenus à partir d'un repère de paralysie faciale, méticuleusement rassemblés et annotés par des experts médicaux, soulignent le potentiel d'utilisation des attributs d'AU identifiés pour estimer la gravité de la paralysie faciale.