Dekorieren Sie die Neuen: Visuelles Domänen-Prompt für kontinuierliche Anpassung der Testzeit

Die kontinuierliche Anpassung der Testzeit (CTTA) zielt darauf ab, das Quellmodell an ständig wechselnde unbezeichnete Ziel-Domänen anzupassen, ohne Zugriff auf die Quelldaten zu haben. Bestehende Methoden konzentrieren sich hauptsächlich auf modellbasierte Anpassungen in einem Selbsttrainingsansatz, wie zum Beispiel die Vorhersage von Pseudo-Labels für neue Domänendatensätze. Da Pseudo-Labels verrauscht und unzuverlässig sind, leiden diese Methoden unter katastrophalem Vergessen und Fehlerakkumulation beim Umgang mit dynamischen Datenverteilungen. Motiviert durch das Prompt-Lernen in der NLP, schlagen wir in diesem Papier vor, ein bildschichtbasiertes visuelles Domänen-Prompt für Ziel-Domänen zu lernen, während die Parameter des Quellmodells eingefroren bleiben. Während des Testens können die sich ändernden Ziel-Datensätze an das Quellmodell angepasst werden, indem die Eingangsdaten mit den gelernten visuellen Prompts umformuliert werden. Konkret entwerfen wir zwei Arten von Prompts, nämlich domänenspezifische Prompts und domänenunabhängige Prompts, um aktuelles Domänenwissen zu extrahieren und das domänenübergreifende Wissen in der kontinuierlichen Anpassung aufrechtzuerhalten. Darüber hinaus entwerfen wir eine homeostasebasierte Anpassungsstrategie, um domänensensitive Parameter in domäneninvarianten Prompts zu unterdrücken, um das domänenübergreifende Wissen effektiver zu lernen. Dieser Übergang vom modellabhängigen Paradigma zu einem modellunabhängigen ermöglicht es uns, die Probleme des katastrophalen Vergessens und der Fehlerakkumulation zu umgehen. Experimente zeigen, dass unsere vorgeschlagene Methode erhebliche Leistungsgewinne gegenüber aktuellen Methoden auf vier weit verbreiteten Benchmarks erzielt, einschließlich CIFAR-10C, CIFAR-100C, ImageNet-C und VLCS-Datensätzen.