Red de Transferencia de Estilo Universal a Escala Múltiple Basada en Modelo de Difusión

La transferencia de estilo artístico busca transferir el estilo de una obra de arte a una fotografía mientras se mantiene su contenido original general. Aunque los métodos actuales de transferencia de estilo han logrado resultados prometedores al procesar imágenes fotorrealistas, a menudo tienen dificultades con la preservación de pinceladas en las obras de arte, especialmente en estilos como la pintura al óleo y el puntillismo. En tales casos, las características de estilo y contenido extraídas tienden a incluir información redundante, lo que conlleva problemas como bordes borrosos y pérdida de detalles finos en las imágenes transferidas. Para abordar este problema, este artículo propone una red de transferencia de estilo general a escala múltiple basada en modelos de difusión. La red propuesta consiste en un módulo de transferencia de estilo grueso y un módulo de transferencia de estilo refinado. Primero, el módulo de transferencia de estilo grueso está diseñado para realizar tareas de transferencia de estilo de manera más eficiente al operar sobre imágenes submuestreadas, lo que permite un procesamiento más rápido con resultados satisfactorios. A continuación, para mejorar aún más la fidelidad de los bordes, se introduce un módulo de transferencia de estilo refinado. Este módulo utiliza un componente de segmentación para generar una máscara del sujeto principal en la imagen y realiza un refinamiento consciente de los bordes. Esto mejora la fusión entre los bordes del sujeto y el estilo objetivo, al tiempo que preserva características más detalladas. Para mejorar la calidad general de la imagen y mejor integrar el estilo a lo largo de los límites del contenido, la salida del módulo grueso se aumenta por un factor de dos y se combina con la máscara del sujeto. Con la ayuda de ControlNet y Stable Diffusion, el modelo realiza un redibujo de bordes consciente del contenido para mejorar la calidad visual general de la imagen estilizada. En comparación con los métodos de transferencia de estilo de vanguardia, el modelo propuesto preserva más detalles de los bordes y logra una fusión más natural entre estilo y contenido.