Tiefe hypersphärische Lernmethoden

Die Faltung als inneres Produkt war die grundlegende Basis der konvolutionalen neuronalen Netze (CNNs) und der Schlüssel zum End-to-End-Lernen visueller Repräsentationen. Dank tieferer Architekturen haben aktuelle CNNs zunehmend starke Repräsentationsfähigkeiten gezeigt. Trotz solcher Verbesserungen haben die erhöhte Tiefe und der größere Parameterraum auch zu Herausforderungen beim ordnungsgemäßen Training eines Netzwerks geführt. Vor dem Hintergrund solcher Herausforderungen schlagen wir die hypersphärische Faltung (SphereConv) vor, einen neuartigen Lernrahmen, der winkelabhängige Repräsentationen auf Hypersphären ermöglicht. Wir führen SphereNet ein, tiefe hypersphärische Faltungsnetzwerke, die sich von konventionellen auf inneren Produkten basierenden Faltungsnetzwerken unterscheiden. Insbesondere verwendet SphereNet SphereConv als Grundfaltungsoperator und wird durch einen verallgemeinerten angular softmax loss überwacht - eine natürliche Verlustformulierung unter SphereConv. Wir zeigen, dass SphereNet effektive diskriminative Repräsentationen kodieren und die Trainingsschwierigkeiten verringern kann, was zu einer einfacheren Optimierung, schnelleren Konvergenz und vergleichbarer (sogar besserer) Klassifizierungsgenauigkeit im Vergleich zu konvolutionalen Gegenstücken führt. Wir geben auch einige theoretische Einblicke in die Vorteile des Lernens auf Hypersphären. Darüber hinaus führen wir die lernbare SphereConv ein, d.h. eine natürliche Verbesserung gegenüber der vordefinierten SphereConv, und SphereNorm, d.h. hypersphärisches Lernen als Normalisierungsmethode. Experimente haben unsere Schlussfolgerungen bestätigt.