IMAGDressing-v1: Vestimenta Virtual Personalizable

Los últimos avances han logrado una prueba virtual realista (VTON) a través de la pintura localizada de prendas utilizando modelos de difusión latente, mejorando significativamente la experiencia de compra en línea de los consumidores. Sin embargo, las tecnologías VTON existentes descuidan la necesidad de que los comerciantes exhiban las prendas de manera integral, incluyendo control flexible sobre las prendas, rostros opcionales, poses y escenas. Para abordar este problema, definimos una tarea de vestimenta virtual (VD) centrada en generar imágenes humanas editables libremente con prendas fijas y condiciones opcionales. Mientras tanto, diseñamos un índice de métrica de afinidad integral (CAMI) para evaluar la coherencia entre las imágenes generadas y las prendas de referencia. Luego, proponemos IMAGDressing-v1, que incorpora un UNet de prendas que captura características semánticas de CLIP y características de textura de VAE. Presentamos un módulo de atención híbrido, que incluye una auto-atención congelada y una atención cruzada entrenable, para integrar características de las prendas del UNet de prendas en un UNet de desruido congelado, asegurando que los usuarios puedan controlar diferentes escenas a través de texto. IMAGDressing-v1 se puede combinar con otros plugins de extensión, como ControlNet e IP-Adapter, para mejorar la diversidad y controlabilidad de las imágenes generadas. Además, para abordar la falta de datos, lanzamos el conjunto de datos de emparejamiento de prendas interactivas (IGPair), que contiene más de 300,000 pares de imágenes de ropa y vestidas, y establecemos un pipeline estándar para la recopilación de datos. Experimentos extensivos demuestran que nuestro IMAGDressing-v1 logra un rendimiento de síntesis de imágenes humanas de vanguardia bajo diversas condiciones controladas. El código y el modelo estarán disponibles en https://github.com/muzishen/IMAGDressing.