Ajuste fino robusto de modelos cero disparo

Modelos grandes preentrenados como CLIP o ALIGN ofrecen una precisión consistente a través de una variedad de distribuciones de datos al realizar inferencias cero disparo (es decir, sin ajuste fino en un conjunto de datos específico). Aunque los métodos de ajuste fino existentes mejoran sustancialmente la precisión en una distribución objetivo dada, a menudo reducen la robustez a cambios de distribución. Abordamos esta tensión introduciendo un método simple y efectivo para mejorar la robustez durante el ajuste fino: ensamblar los pesos de los modelos cero disparo y ajustados finamente (WiSE-FT). En comparación con el ajuste fino estándar, WiSE-FT proporciona grandes mejoras de precisión bajo cambios de distribución, mientras preserva alta precisión en la distribución objetivo. En ImageNet y cinco cambios de distribución derivados, WiSE-FT mejora la precisión bajo cambios de distribución de 4 a 6 puntos porcentuales (pp) en comparación con trabajos anteriores mientras aumenta la precisión de ImageNet en 1.6 pp. WiSE-FT logra ganancias de robustez igualmente grandes (2 a 23 pp) en un conjunto diverso de seis cambios de distribución adicionales, y ganancias de precisión de 0.8 a 3.3 pp en comparación con el ajuste fino estándar en conjuntos de datos de aprendizaje por transferencia comúnmente utilizados. Estas mejoras no conllevan costo computacional adicional durante el ajuste fino o la inferencia.