Los métodos de inpainting existentes a menudo requieren un extenso retraining o ajuste fino para integrar nuevo contenido de manera fluida, sin embargo, tienen dificultades para mantener la coherencia tanto en la estructura como en el estilo entre las regiones inpainted y el fondo circundante. Motivados por estas limitaciones, presentamos HarmonPaint, un marco de inpainting sin entrenamiento que se integra sin problemas con los mecanismos de atención de los modelos de difusión para lograr inpainting de imágenes armonizado y de alta calidad sin ninguna forma de entrenamiento. Al aprovechar estrategias de enmascaramiento dentro de la auto-atención, HarmonPaint asegura la fidelidad estructural sin retraining o ajuste fino del modelo. Además, aprovechamos las propiedades intrínsecas del modelo de difusión para transferir información de estilo de las regiones no enmascaradas a las enmascaradas, logrando una integración armónica de estilos. Experimentos extensos demuestran la efectividad de HarmonPaint en diversas escenas y estilos, validando su versatilidad y rendimiento.
Li et al. (Tue,) estudiaron esta cuestión.