Desaprendizaje de Difusión Latente: Protección Contra Personalización No Autorizada a Través de Perturbaciones Desviadas en la Trayectoria

Los modelos de difusión de texto a imagen han demostrado una eficacia notable en la personalización rápida y de alta fidelidad, incluso cuando se les proporciona solo unas pocas imágenes de usuario. Sin embargo, la eficacia de las técnicas de personalización ha suscitado preocupaciones sobre la privacidad de los datos, la protección de la propiedad intelectual y el uso no autorizado. Para mitigar tal uso no autorizado y la replicación del modelo, ha surgido la idea de generar muestras de entrenamiento ``no aprendibles'' utilizando técnicas de envenenamiento de imágenes. Los métodos existentes para esto tienen una limitación de imperceptibilidad, ya que operan en el espacio de píxeles, lo que resulta en imágenes con ruido y artefactos. En este trabajo, proponemos una estrategia de perturbación basada en modelos novedosa que opera dentro del espacio latente de los modelos de difusión. Nuestro método alterna entre la eliminación de ruido y la inversión mientras modifica el punto de partida de la trayectoria de eliminación de ruido de los modelos de difusión. Este muestreo con desvío de trayectoria garantiza que las imágenes perturbadas mantengan una alta fidelidad visual con respecto a las entradas originales, mientras que son resistentes a la inversión y personalización por modelos generativos posteriores. Este enfoque integra la no aprendibilidad en el marco de los Modelos de Difusión Latente (LDM), permitiendo una defensa práctica e imperceptible contra la adaptación no autorizada del modelo. Validamos nuestro enfoque en cuatro conjuntos de datos de referencia para demostrar su robustez contra ataques de inversión de última generación. Los resultados demuestran que nuestro método logra mejoras significativas en imperceptibilidad (8% -10% en métricas perceptuales que incluyen PSNR, SSIM y FID) y robustez (10% en promedio en cinco configuraciones adversariales), destacando su eficacia en la protección de datos sensibles.