Sobre a Detecção de Imagens Sintéticas Geradas por Modelos de Difusão

Ao longo da última década, houve um progresso tremendo na criação de mídias sintéticas, principalmente graças ao desenvolvimento de métodos poderosos baseados em generative adversarial networks (GAN). Muito recentemente, métodos baseados em modelos de difusão (DM) vêm ganhando destaque. Além de fornecerem um nível impressionante de fotorrealismo, eles possibilitam a criação de conteúdo visual baseado em texto, abrindo oportunidades novas e empolgantes em muitos campos de aplicação distintos, desde as artes até os videogames. Por outro lado, essa propriedade é um recurso adicional nas mãos de usuários mal-intencionados, que podem gerar e distribuir mídias falsas perfeitamente adaptadas aos seus ataques, impondo novos desafios à comunidade de perícia forense de mídias. Com este trabalho, buscamos entender quão difícil é distinguir imagens sintéticas geradas por modelos de difusão de imagens originais e se os atuais detectores de ponta são adequados para essa tarefa. Para esse fim, primeiro expomos os vestígios forenses deixados por modelos de difusão e, em seguida, estudamos o desempenho dos detectores atuais, desenvolvidos para imagens geradas por GAN, nessas novas imagens sintéticas, especialmente em cenários desafiadores de redes sociais que envolvem compressão e redimensionamento de imagens. Conjuntos de dados e códigos estão disponíveis em https:github.com/grip-unina/DMimageDetection.