Réseau à double branche identité-expression pour la reconnaissance des expressions faciales

La reconnaissance précise des expressions faciales est un défi car les biais d'identité introduisent de grandes variations intraclasse et des similitudes interclasse élevées. La plupart des approches existantes de reconnaissance d'expressions faciales s'efforcent d'atténuer les effets de l'identité. Cependant, basé sur les théories des sciences cognitives, de la psychologie et de la physiologie, cet article soutient que l'information sur l'identité est importante et peut favoriser la reconnaissance des expressions. Motivé par notre enquête sur les influences de l'identité sur la reconnaissance des expressions faciales, cet article propose un réseau à double branche identité-expression (IE-DBN) pour la reconnaissance des expressions faciales. Tout d'abord, les caractéristiques liées à l'identité et les caractéristiques liées à l'expression sont apprises à partir de la même image d'expression faciale d'entrée par deux branches respectivement. Ensuite, ces deux caractéristiques sont agrégées avec notre module bilinéaire. L'agrégation bilinéaire non seulement souligne l'impact de l'identité mais améliore également les variations interclasse et les similitudes intraclasse. La stratégie de formation conjointe est proposée pour régulariser les caractéristiques liées à l'identité. Elle peut forcer notre réseau à générer des caractéristiques liées à l'identité guidées par l'expression et supprime en même temps les facteurs d'identité négatifs. Des expériences sur trois bases de données d'expressions faciales populaires, y compris deux bases de données d'expressions faciales posées populaires et une base de données d'expressions faciales spontanées, montrent que notre IE-DBN surpasse la plupart des méthodes de pointe, ce qui démontre notre supériorité dans la reconnaissance des expressions faciales.