Modulación Basada en Referencia (RB-Modulación): Personalización Sin Entrenamiento de Modelos de Difusión Usando Control Óptimo Estocástico

Proponemos la Modulación Basada en Referencia (RB-Modulación), una nueva solución plug-and-play para la personalización de modelos de difusión sin necesidad de entrenamiento. Los enfoques existentes sin entrenamiento presentan dificultades en (a) la extracción de estilo de imágenes de referencia en ausencia de descripciones de texto de estilo o contenido adicionales, (b) filtración de contenido no deseado de imágenes de estilo de referencia, y (c) la composición efectiva de estilo y contenido. RB-Modulación se basa en un novedoso controlador óptimo estocástico donde un descriptor de estilo codifica los atributos deseados a través de un costo terminal. La deriva resultante no solo supera las dificultades mencionadas, sino que también asegura una alta fidelidad al estilo de referencia y se adhiere a la indicación de texto dada. También introducimos un esquema de agregación de características basado en atención cruzada que permite a RB-Modulación desacoplar contenido y estilo de la imagen de referencia. Con justificación teórica y evidencia empírica, nuestro marco demuestra una extracción y control precisos de contenido y estilo de manera libre de entrenamiento. Además, nuestro método permite una composición fluida de contenido y estilo, lo que marca una ruptura con la dependencia de adaptadores externos o ControlNets.