Detectando Deepfakes Usando Defeitos de Manipulação GAN em Olhos Humanos

O fenômeno Deepfake é muito importante atualmente porque existem possibilidades de criar imagens muito reais que podem enganar qualquer um, graças a ferramentas de aprendizado profundo baseadas em redes adversariais generativas (GAN). Essas imagens são usadas como imagens de perfil em redes sociais, visando aqui criar discórdia e fraudes internacionalmente. Neste trabalho, mostramos que essas imagens podem ser detectadas por uma multiplicidade de imperfeições presentes nos olhos sintetizados, como a forma irregular da pupila e a diferença entre os reflexos corneanos dos dois olhos. Essas imperfeições são causadas pela ausência de restrições físicas/ fisiológicas na maioria dos modelos GAN. Estamos desenvolvendo uma arquitetura de dois níveis capaz de detectar essas imagens deepfake. Começa com um método automático de segmentação da pupila do olho para verificar a forma. Em seguida, para pupilas de forma não padrão, a imagem inteira é capturada, transformada em nível de cinza e então passada para uma arquitetura que extrai e compara os reflexos especulares corneanos dos dois olhos. Experimentar com um grande conjunto de dados de imagens reais do conjunto de dados Flickr-Faces-HQ e imagens falsas de styleGAN2 demonstra a eficácia do nosso método. Nosso método tem boa estabilidade para propriedades fisiológicas durante o aprendizado profundo; portanto, é robusto como alguns dos métodos de detecção de deepfake de classe única. Os resultados dos experimentos nos conjuntos de dados selecionados demonstram maior precisão em comparação com outros métodos.