PracticalDG: Destilación de Perturbaciones en Modelos de Visión-Lenguaje para Generalización Híbrida de Dominio

La Generalización de Dominio (DG) tiene como objetivo resolver los cambios de distribución entre los dominios de origen y destino, y los métodos actuales de DG asumen por defecto que los datos de los dominios de origen y destino comparten categorías idénticas. Sin embargo, existen clases no vistas en los dominios de destino en escenarios prácticos. Para abordar este problema, ha surgido la Generalización de Dominio de Conjunto Abierto (OSDG) y varios métodos han sido propuestos exclusivamente. No obstante, la mayoría de los métodos existentes adoptan arquitecturas complejas con ligeras mejoras en comparación con los métodos de DG. Recientemente, se han introducido modelos de visión-lenguaje (VLMs) en DG siguiendo el paradigma de ajuste fino, pero consumen una gran carga de entrenamiento con grandes modelos de visión. Por lo tanto, en este artículo, innovamos para transferir conocimiento de VLMs a modelos de visión ligeros y mejorar la robustez introduciendo la Destilación de Perturbaciones (PD) desde tres perspectivas, incluyendo Puntuación, Clase e Instancia (SCI), llamada SCI-PD. Además, los métodos anteriores están orientados por los puntos de referencia con divisiones idénticas y fijas, ignorando la divergencia entre los dominios de origen. Se ha revelado que estos métodos sufren una fuerte caída en el rendimiento con nuestro nuevo punto de referencia propuesto, la Generalización Híbrida de Dominio (HDG), y una nueva métrica H^2-CV, que construyen diversas divisiones para evaluar de manera integral la robustez de los algoritmos. Experimentos extensos demuestran que nuestro método supera a los algoritmos de última generación en múltiples conjuntos de datos, mejorando especialmente la robustez al enfrentarse a la escasez de datos.