Semantischverbesserte überwachtes kontrastives Lernen

Kontrastives Lernen hat die Forschung zur Verbesserung der Datennutzung und des Repräsentationslernens erheblich vorangetrieben. Überwachtes kontrastives Lernen hat die Vorteile gezeigt, die Labelinformationen in den Lernprozess zu integrieren. Auf dieser Grundlage schlagen wir das semantisch verbesserte überwachte kontrastive Lernen von Repräsentationen (SECLR) vor, das nicht nur Labelinformationen nutzt, sondern auch konzeptionelle Semantik einbezieht, um die Auswahl positiver und negativer Proben zu steuern. Unser Ansatz weicht auch von traditionellem überwachten kontrastiven Lernen ab, indem er semantische Ähnlichkeitsscores als zusätzliche Gewichte in das Design der Verlustfunktion einführt. Dies ermöglicht es uns, die Grade positiver und negativer Beziehungen besser zu unterscheiden. Wir validieren die Leistung von SECLR an Benchmark-Datensätzen, einschließlich Imagenet, VGGSound und Imagenet-100. Unsere Ergebnisse zeigen einen signifikanten Leistungsanstieg. Darüber hinaus führen wir eine detaillierte Analyse von SECLR mit unterschiedlichen Konfigurationen durch.