SCS-Co: Aprendizaje Contrastivo de Estilo Auto-consistente para la Harmonización de Imágenes

La harmonización de imágenes tiene como objetivo lograr consistencia visual en imágenes compuestas adaptando un primer plano para que sea compatible con un fondo. Sin embargo, los métodos existentes siempre utilizan solo la imagen real como la muestra positiva para guiar el entrenamiento, y en el mejor de los casos introducen la imagen compuesta correspondiente como una única muestra negativa para una restricción auxiliar, lo que lleva a un conocimiento limitado de distorsión y, además, causa un espacio de solución demasiado grande, haciendo que la imagen harmonizada generada esté distorsionada. Además, ninguno de ellos restringe conjuntamente desde el estilo propio del primer plano y la consistencia de estilo entre el primer plano y el fondo, lo que agrava este problema. Además, la reciente normalización adaptativa de instancia consciente de región ha alcanzado gran éxito, pero solo considera la distribución de características del fondo global, haciendo que la distribución de características del primer plano alineado esté sesgada. Para abordar estos problemas, proponemos un esquema de aprendizaje contrastivo de estilo auto-consistente (SCS-Co). Al generar dinámicamente múltiples muestras negativas, nuestro SCS-Co puede aprender más conocimiento de distorsión y regularizar bien la imagen harmonizada generada en el espacio de representación de estilo desde dos aspectos del estilo propio del primer plano y la consistencia de estilo entre el primer plano y el fondo, lo que lleva a un resultado visual más fotorrealista. Además, proponemos una normalización adaptativa de instancia atenta al fondo (BAIN) para lograr una distribución de características del fondo ponderada por la atención según la similitud de características entre el primer plano y el fondo. Los experimentos demuestran la superioridad de nuestro método sobre otros métodos de última generación tanto en comparación cuantitativa como en análisis visual.