Cross-modales Lernen mit einem multimodalen Modell zur Videoaktionsrekognition basierend auf adaptivem Gewichtstraining

Die kanonischen Methoden zur Videoaktionsrekognition kennzeichnen Kategorien normalerweise mit Zahlen oder One-Hot-Vektoren und trainieren neuronale Netzwerke, um eine feste Menge vordefinierter Kategorien zu klassifizieren, wodurch ihre Fähigkeit, komplexe Aktionen zu erkennen und deren Übertragbarkeit auf ungesehene Konzepte eingeschränkt wird. Im Gegensatz dazu kann cross-modales Lernen die Leistung einzelner Modalitäten verbessern. Basierend auf der Tatsache, dass ein besserer Aktionsrekognizer aufgebaut werden kann, indem man die Aussagen liest, die zur Beschreibung von Aktionen verwendet werden, haben wir das jüngste multimodale Basis-Modell CLIP für die Aktionsrekognition genutzt. In dieser Studie wurde eine effektive Vision-Language-Anpassung zur Aktionsrekognition auf der Grundlage von Few-Shot-Beispielen aus verschiedenen Modalitäten implementiert. Wir haben semantische Informationen zu Aktionskategorien hinzugefügt, indem wir textuelle und visuelle Labels als Trainingsbeispiele für den Aufbau des Aktionsklassifikators behandelt haben, anstatt sie einfach mit Zahlen zu kennzeichnen. Aufgrund der unterschiedlichen Bedeutung von Wörtern in Text und Videobildern kann das bloße Mittelwerten aller sequenziellen Merkmale dazu führen, dass Schlüsselwörter oder wichtige Videobilder ignoriert werden. Um sequenzielle und hierarchische Repräsentation zu erfassen, wurde ein gewichtetes token-weises Interaktionsmechanismus eingesetzt, um die paarweisen Korrelationen adaptiv zu nutzen. Umfassende Experimente mit öffentlichen Datensätzen zeigen, dass das cross-modale Lernen zur Aktionsrekognition bei der nachgelagerten Klassifikation von Aktionsbildern hilft, mit anderen Worten, die vorgeschlagene Methode kann bessere Aktionsklassifikatoren trainieren, indem sie die Sätze liest, die die Aktion selbst beschreiben. Die in dieser Studie vorgeschlagene Methode erreicht nicht nur eine gute Generalisierung und die Fähigkeit zur Nullshot/Few-Shot-Übertragung auf Out of Distribution (OOD) Testsets, sondern zeigt auch eine geringere Rechenkomplexität aufgrund des leichtgewichtigen Interaktionsmechanismus mit einer Top-1-Genauigkeit von 84,15% auf den Kinetics-400.