Rompiendo el Sofón Estilístico: ¿Estamos Realmente Destinados a Restringir la Imaginación en la Transferencia de Estilo?

En este estudio pionero, presentamos StyleWallfacer, un innovador marco de entrenamiento e inferencia unificado, que no solo aborda varios problemas encontrados en el proceso de transferencia de estilo de los métodos tradicionales, sino que también unifica el marco para diferentes tareas. Este marco está diseñado para revolucionar el campo al permitir una transferencia de estilo a nivel artístico y una estilización impulsada por texto. Primero, proponemos un método de inyección de estilo basado en semántica que utiliza BLIP para generar descripciones textuales estrictamente alineadas con la semántica de la imagen de estilo en el espacio CLIP. Al aprovechar un modelo de lenguaje grande para eliminar descripciones relacionadas con el estilo de estas descripciones, creamos una brecha semántica. Esta brecha se utiliza luego para ajustar el modelo, permitiendo una inyección de conocimiento de estilo eficiente y libre de desplazamientos. Segundo, proponemos una estrategia de aumento de datos basada en la retroalimentación humana, incorporando muestras de alta calidad generadas al inicio del proceso de ajuste en el conjunto de entrenamiento para facilitar un aprendizaje progresivo y reducir significativamente el sobreajuste. Finalmente, diseñamos un proceso de difusión triple sin entrenamiento utilizando el modelo ajustado, que manipula las características de las capas de autoatención de una manera similar al mecanismo de atención cruzada. Específicamente, en el proceso de generación, la clave y el valor del proceso relacionado con el contenido son reemplazados por los del proceso relacionado con el estilo para inyectar estilo mientras se mantiene el control textual sobre el modelo. También introducimos la preservación de la consulta para mitigar las interrupciones en el contenido original. Bajo tal diseño, hemos logrado una transferencia de estilo impulsada por imágenes de alta calidad y una estilización impulsada por texto, entregando resultados de transferencia de estilo a nivel artístico mientras se preserva el contenido de la imagen original. Además, logramos edición de color de imágenes durante el proceso de transferencia de estilo por primera vez.