Detecção de deepfakes interpretável por meio de protótipos para modelos de difusão

O processo de reconhecer e distinguir entre conteúdo real e conteúdo gerado por algoritmos de aprendizado profundo, frequentemente referido como deepfakes, é conhecido como detecção de deepfake. Para enfrentar a crescente ameaça dos deepfakes e manter a integridade da mídia digital, pesquisas estão sendo realizadas para criar técnicas de detecção mais confiáveis e precisas. Modelos de aprendizado profundo, como o Stable Diffusion, conseguiram gerar imagens mais detalhadas e menos borradas nos últimos anos. Neste artigo, desenvolvemos uma técnica de detecção de deepfake para distinguir imagens originais e falsas geradas por vários Modelos de Difusão. A metodologia desenvolvida para detecção de deepfake aproveita características de Vision Transformers (ViTs) finamente ajustados, combinadas com classificadores existentes, como Máquinas de Vetores de Suporte (SVM). Demonstramos a capacidade de interpretabilidade por meio de protótipos da metodologia proposta analisando os vetores de suporte dos SVMs. Além disso, devido à novidade do tema, há uma falta de conjuntos de dados abertos para detecção de deepfake. Portanto, para avaliar a metodologia, também criamos conjuntos de dados personalizados com base em várias técnicas gerativas de Modelos de Difusão em conjuntos de dados abertos (ImageNet, FFHQ, Oxford-IIIT Pet). O código está disponível em https://github.com/lira-centre/DeepfakeDetection.