Détection des Deepfakes en utilisant les défauts de manipulation des GAN dans les yeux humains

Le phénomène des Deepfakes est très important de nos jours car il est possible de créer des images très réalistes capables de tromper quiconque, grâce à des outils d'apprentissage profond basés sur des réseaux antagonistes génératifs (GAN). Ces images sont utilisées comme images de profil sur les réseaux sociaux, visant ici à créer la discorde et des escroqueries à l'international. Dans ce travail, nous montrons que ces images peuvent être détectées grâce à une multitude d'imperfections présentes dans les yeux synthétisés, telles que la forme irrégulière de la pupille et la différence entre les réflexions cornéennes des deux yeux. Ces imperfections sont causées par l'absence de contraintes physiques/physiologiques dans la plupart des modèles GAN. Nous développons une architecture à deux niveaux capable de détecter ces images deepfake. Cela commence par une méthode de segmentation automatique de la pupille pour vérifier la forme. Ensuite, pour les pupilles de forme non standard, l'image entière est prise, transformée en niveau de gris, puis passée dans une architecture qui extrait et compare les réflexions spéculaires cornéennes des deux yeux. Expérimenter avec un large ensemble de données d'images réelles du jeu de données Flickr-Faces-HQ et des images de style GAN2 fausses démontre l'efficacité de notre méthode. Notre méthode présente une bonne stabilité pour les propriétés physiologiques lors de l'apprentissage profond ; par conséquent, elle est robuste comme certaines méthodes de détection deepfake à classe unique. Les résultats des expériences sur les ensembles de données sélectionnés montrent une plus grande précision par rapport à d'autres méthodes.