Erforschung des einfachen Siamese-Repräsentationslernens

Siamese-Netzwerke sind zu einer gängigen Struktur in verschiedenen aktuellen Modellen für unüberwachtes visuelles Repräsentationslernen geworden. Diese Modelle maximieren die Ähnlichkeit zwischen zwei Augmentierungen eines Bildes, unter bestimmten Bedingungen, um kollabierende Lösungen zu vermeiden. In diesem Papier berichten wir von überraschenden empirischen Ergebnissen, dass einfache Siamese-Netzwerke bedeutungsvolle Repräsentationen lernen können, selbst ohne die folgenden Elemente: (i) negative Probenpaare, (ii) große Batches, (iii) Momentum-Codierer. Unsere Experimente zeigen, dass kollabierende Lösungen sowohl für den Verlust als auch für die Struktur existieren, aber eine Stop-Gradient-Operation spielt eine wesentliche Rolle bei der Verhinderung von Kollaps. Wir bieten eine Hypothese zu den Implikationen des Stop-Gradient und zeigen zudem Nachweis-Experimente, die dies überprüfen. Unsere "SimSiam"-Methode erzielt wettbewerbsfähige Ergebnisse auf ImageNet und nachgelagerten Aufgaben. Wir hoffen, dass diese einfache Basislinie die Menschen dazu anregt, die Rollen von Siamese-Architekturen für unüberwachtes Repräsentationslernen zu überdenken. Der Code wird bereitgestellt. 1