Ein Satz spricht tausend Bilder: Domänengeneralisation durch Destillation von CLIP mit sprachlicher Anleitung

Die Domänengeneralisation untersucht das Problem, ein Modell mit Proben aus mehreren Domänen (oder Verteilungen) zu trainieren und das Modell anschließend mit Proben aus einer neuen, nicht gesehenen Domäne zu testen. In diesem Papier schlagen wir einen neuartigen Ansatz zur Domänengeneralisation vor, der die jüngsten Fortschritte in großen Vision-Sprach-Modellen nutzt, speziell ein CLIP-Lehrermodell, um ein kleineres Modell zu trainieren, das sich auf nicht gesehene Domänen generalisiert. Der entscheidende technische Beitrag ist eine neue Art der Regularisierung, die erfordert, dass die gelernten Bilddarstellungen des Schülers den gelernten Textdarstellungen des Lehrers, die aus der Kodierung der entsprechenden Textbeschreibungen von Bildern gewonnen wurden, nahekommen. Wir führen zwei Designs der Verlustfunktion ein, absolute und relative Distanz, die spezifische Anleitungen geben, wie der Trainingsprozess des Schüler-Modells regularisiert werden sollte. Wir bewerten unsere vorgeschlagene Methode, die wir RISE (Regularisierte Invarianz mit Semantischen Einbettungen) nennen, auf verschiedenen Benchmark-Datensätzen und zeigen, dass sie mehrere moderne Methoden zur Domänengeneralisation übertrifft. Soweit uns bekannt ist, ist unsere Arbeit die erste, die Wissensdistillation unter Verwendung eines großen Vision-Sprach-Modells für die Domänengeneralisation nutzt. Durch die Einbeziehung textbasierter Informationen verbessert RISE die Generalisierungsfähigkeit von maschinellen Lernmodellen.