Este artículo presenta un nuevo marco de defensa adversarial que explota estratégicamente la no-transferibilidad de los ataques adversariales a través de modelos fundamentales multimodales. Aunque los modelos de Preentrenamiento Contrastivo de Lenguaje–Imagen (CLIP) demuestran notables capacidades de cero disparo, siguen siendo vulnerables a muestras adversariales. El ajuste fino adversarial se adopta ampliamente como defensa estándar, sin embargo, la robustez resultante contra ataques sofisticados de caja blanca a menudo es insuficiente. Para abordar esta limitación, nuestro objetivo es aumentar la robustez de un modelo afinado adversarialmente utilizando un modelo auxiliar preentrenado para aprovechar la no-transferibilidad del ataque. Específicamente, construimos un espacio de representación común e introducimos un esquema de detección que identifica el objetivo del ataque basado en distancias de características. Al cambiar adaptativamente la salida de predicción, mitigamos eficazmente los ataques. Los resultados experimentales demuestran que nuestro enfoque supera los métodos de ajuste fino adversarial de última generación en términos de robustez adversarial.
Toishi et al. (Vie,) estudiaron esta cuestión.