Méthodes d'apprentissage automatique pour la reconnaissance entièrement automatique des expressions faciales et des actions faciales

Nous présentons une comparaison systématique des méthodes d'apprentissage automatique appliquées au problème de la reconnaissance entièrement automatique des expressions faciales. Nous avons exploré la reconnaissance des actions faciales à partir du système de codage des actions faciales (FACS), ainsi que la reconnaissance des expressions faciales de chute. Chaque image vidéo est d'abord analysée en temps réel pour détecter des visages frontaux à peu près droits. Les visages trouvés sont mises à l'échelle en patchs d'image de taille égale, convolués avec une banque de filtres d'énergie de Gabor, puis passés à un moteur de reconnaissance qui encode les expressions faciales en 7 dimensions en temps réel : neutre, colère, dégoût, peur, joie, tristesse, surprise. Nous rapportons les résultats d'une série d'expérimentations comparant des moteurs de reconnaissance, y compris AdaBoost, des machines à vecteurs de support, une analyse discriminante linéaire, ainsi que des techniques de sélection de caractéristiques. Les meilleurs résultats ont été obtenus en sélectionnant un sous-ensemble de filtres de Gabor à l'aide d'AdaBoost et en entraînant ensuite des machines à vecteurs de support sur les sorties des filtres sélectionnés par AdaBoost. La performance de généralisation sur de nouveaux sujets pour la reconnaissance des expressions faciales complètes dans un choix forcé à 7 voies était de 93% de bonnes réponses, la meilleure performance rapportée jusqu'à présent sur le jeu de données d'expressions codées par FACS Cohn-Kanade. Nous avons également appliqué le système au codage d'actions faciales entièrement automatisé. Le système présent classe 18 unités d'action, qu'elles se produisent seules ou en combinaison avec d'autres actions, avec un taux d'accord moyen de 94,5% avec les codes FACS humains dans le jeu de données Cohn-Kanade. Les sorties des classificateurs changent en douceur en fonction du temps et peuvent donc être utilisées pour mesurer la dynamique des expressions faciales.