Kosinus-Ähnlichkeitsgesteuerte Wissensdestillation für robuste Objekterkenner

Dieses Papier präsentiert eine auf Kosinus-Ähnlichkeit basierende Wissensdestillation (CSKD) für robuste, leichtgewichtig Objekterkenner. Wissensdestillation (KD) war effektiv bei der Verbesserung der Leistung komprimierter Modelle in der Bildklassifikation, indem tiefen CNN-Modelle genutzt wurden. Die komplexe und facettenreiche Natur der Objekterkennung, gekennzeichnet durch ihr modulares Design und die Anforderungen an Multitasking, stellt jedoch erhebliche Herausforderungen für traditionelle KD-Techniken dar. Diese Herausforderungen werden durch die herkömmliche Abhängigkeit von der Mittelwertquadratsfehler (MSE)-Verlustfunktion und die begrenzte Anwendung verbesserter Merkmalsdarstellungen in der Trainingsphase zusätzlich verstärkt. Um diese Einschränkungen anzugehen, kombiniert die vorgeschlagene CSKD-Methode die Kosinusähnlichkeitsleitung mit MSE-Verlust, um einen effektiveren Wissenstransfer vom Lehrer- zum Studentmodell zu ermöglichen. Dies wird erreicht, indem sowohl Zwischenmerkmale als auch Vorhersageausgaben destilliert werden, unterstützt durch einen Hilfs-Vorhersagezweig, der direkt aus den Vorhersagen des Lehrers lernen soll. Diese duale Destillationsstrategie ermöglicht es dem Studentenmodell, das Verhalten des Lehrer-Modells besser nachzuahmen, was zu einer verbesserten Leistung führt. Die vorgeschlagene Methode zeigt Vielseitigkeit und Robustheit über verschiedene Objekterkenner-Architekturen hinweg, ohne dass zusätzliche Merkmalsverbesserungsschichten während des Trainings erforderlich sind. Bemerkenswerterweise erreichen wir unter Verwendung von ResNet-50 als Lehrer-Modell und ResNet-18 als Student-Modell neue Benchmarks in KD für Objekterkennung über mehrere Architekturen hinweg, darunter Faster-RCNN, RetinaNet, FCOS und GFL, mit entsprechenden mAP-Werten von 36,6, 35,2, 35,9 und 38,9. Diese Ergebnisse unterstreichen die Effektivität von CSKD bei der Weiterentwicklung des Standes der Technik in KD für Objekterkennung und bieten eine überzeugende Lösung für die Herausforderungen, mit denen traditionelle KD-Methoden in diesem Bereich konfrontiert sind. Der Code der vorgeschlagenen CSKD ist verfügbar unter https://github.com/swkdn16/CSKD.