Key points are not available for this paper at this time.
Dans cet article, nous présentons TruFor, un cadre d'analyse judiciaire pouvant être appliqué à une grande variété de méthodes de manipulation d'images, des faux bon marché classiques aux manipulations plus récentes basées sur l'apprentissage profond. Nous nous appuyons sur l'extraction de traces à la fois de haut niveau et de bas niveau à travers une architecture de fusion basée sur un transformeur qui combine l'image RGB et une empreinte digitale sensible au bruit apprise. Cette dernière apprend à intégrer les artefacts liés au traitement interne et externe de l’appareil photo en s'entraînant uniquement sur des données réelles de manière auto-supervisée. Les falsifications sont détectées comme des écarts par rapport au modèle régulier attendu qui caractérise chaque image intacte. La recherche d'anomalies permet à l'approche de détecter de manière robuste une variété de manipulations locales, assurant la généralisation. En plus d'une carte de localisation au niveau des pixels et d'un score d'intégrité de l'image entière, notre approche produit une carte de fiabilité qui met en évidence les zones où les prédictions de localisation peuvent être sujettes à des erreurs. Cela est particulièrement important dans les applications judiciaires pour réduire les fausses alarmes et permettre une analyse à grande échelle. D'importantes expériences sur plusieurs ensembles de données montrent que notre méthode est capable de détecter et de localiser de manière fiable à la fois les faux bon marché et les manipulations de deepfakes, surpassant les travaux de pointe. Le code est disponible publiquement à l'adresse https://grip-unina.github.io/TruFor/.
Guillaro et al. (Jeu,) ont étudié cette question.