Adaptación de Bajo Rango que Preserva la Privacidad para Modelos de Difusión Latente

La adaptación de bajo rango (LoRA) es una estrategia eficiente para adaptar modelos de difusión latente (LDMs) en un conjunto de datos de entrenamiento para generar objetos específicos minimizando la pérdida de adaptación. Sin embargo, los LDMs adaptados a través de LoRA son vulnerables a ataques de inferencia de membresía (MI) que pueden juzgar si un punto de datos particular pertenece a conjuntos de datos de entrenamiento privados, enfrentándose así a graves riesgos de filtración de privacidad. Para defendernos contra los ataques de MI, hacemos el primer esfuerzo por proponer una solución sencilla: LoRA que preserva la privacidad (PrivateLoRA). PrivateLoRA se formula como un problema de optimización de min-max donde se entrena un modelo de ataque proxy maximizando su ganancia de MI mientras el LDM se adapta minimizando la suma de la pérdida de adaptación y la ganancia de MI del modelo de ataque proxy. Sin embargo, divulgamos empíricamente que PrivateLoRA tiene el problema de una optimización inestable debido a la gran fluctuación de la escala del gradiente, lo que dificulta la adaptación. Para mitigar este problema, proponemos Stable PrivateLoRA que adapta el LDM minimizando la relación de la pérdida de adaptación con la ganancia de MI, lo que reescala implícitamente el gradiente y así estabiliza la optimización. Nuestros resultados empíricos comprensivos corroboran que los LDMs adaptados a través de Stable PrivateLoRA pueden defenderse eficazmente contra ataques de MI mientras generan imágenes de alta calidad. Nuestro código está disponible en https://github.com/WilliamLUO0/StablePrivateLoRA.