Inpainting d'images génératives avec attention contextuelle

Les approches récentes basées sur l'apprentissage profond ont montré des résultats prometteurs pour la tâche difficile de l'inpainting de grandes régions manquantes dans une image. Ces méthodes peuvent générer des structures et des textures d'image visuellement plausibles, mais créent souvent des structures déformées ou des textures floues, incohérentes avec les zones environnantes. Cela est principalement dû à l'inefficacité des réseaux de neurones convolutifs à emprunter ou à copier explicitement des informations provenant de lieux spatiaux distants. D'autre part, les approches traditionnelles de synthèse de textures et de patchs sont particulièrement adaptées lorsqu'il s'agit d'emprunter des textures aux régions environnantes. Motivés par ces observations, nous proposons une nouvelle approche basée sur un modèle génératif profond qui peut non seulement synthétiser de nouvelles structures d'image, mais aussi utiliser explicitement les caractéristiques d'image environnantes comme références pendant l'entraînement du réseau pour faire de meilleures prédictions. Le modèle est un réseau de neurones convolutif entièrement alimenté, capable de traiter des images avec plusieurs trous à des emplacements arbitraires et de tailles variables pendant le test. Des expériences sur plusieurs ensembles de données, y compris des visages (CelebA, CelebA-HQ), des textures (DTD) et des images naturelles (ImageNet, Places2), montrent que notre approche proposée génère des résultats d'inpainting de meilleure qualité que ceux existants. Le code, la démonstration et les modèles sont disponibles à : https://github.com/JiahuiYu/generativeᵢnpainting.