Perturbation des attaques de mimétisme de style sur les images vidéo

Les modèles d'IA générative sont souvent utilisés pour réaliser des attaques de mimétisme, où un modèle pré-entraîné est affiné sur un petit échantillon d'images pour apprendre à imiter un artiste spécifique d'intérêt. Bien que les chercheurs aient introduit plusieurs outils de protection contre le mimétisme (Mist, Glaze, Anti-Dreambooth), des preuves récentes montrent une tendance croissante des modèles de mimétisme utilisant des vidéos comme sources de données d'entraînement. Cet article présente nos expériences explorant des techniques pour perturber le mimétisme de style sur les images vidéo. Nous validons d'abord que les attaques de mimétisme peuvent réussir en s'entraînant sur des images individuelles extraites de vidéos. Nous montrons que, bien que les outils anti-mimétisme puissent offrir une protection lorsqu'ils sont appliqués à des images individuelles, cette approche est vulnérable à une contre-mesure adaptative qui supprime la protection en exploitant l'aléa dans les résultats d'optimisation des images consécutives (quasi-identiques). Nous développons un nouveau cadre indépendant d'outils qui segmente les vidéos en courtes scènes basées sur la similarité au niveau des images et utilisons une base d'optimisation par scène pour éliminer la randomisation entre les images tout en réduisant le coût computationnel. Nous montrons, à la fois via des métriques au niveau des images et une étude utilisateur de bout en bout, que la protection résultante rétablit la protection contre le mimétisme (y compris la contre-mesure). Enfin, nous développons une autre contre-mesure adaptative et constatons qu'elle est insuffisante face à notre cadre.