Hochgradige Merkmale mit großscale unüberwachtem Lernen erstellen

Wir betrachten das Problem, hochgradige, klassen-spezifische Merkmalsdetektoren nur aus unbeschrifteten Daten zu erstellen. Ist es beispielsweise möglich, einen Gesichtserkenner nur mit unbeschrifteten Bildern zu lernen? Um dies zu beantworten, trainieren wir einen 9-schichtigen lokal verbundenen spärlichen Autoencoder mit Pooling und lokaler Kontrastnormalisierung auf einem großen Datensatz von Bildern (das Modell hat 1 Milliarde Verbindungen, der Datensatz enthält 10 Millionen 200x200 Pixel Bilder, die aus dem Internet heruntergeladen wurden). Wir trainieren dieses Netzwerk unter Verwendung von Modellparallelismus und asynchronem SGD auf einem Cluster mit 1.000 Maschinen (16.000 Kerne) über drei Tage. Entgegen dem, was eine weit verbreitete Intuition zu sein scheint, zeigen unsere experimentellen Ergebnisse, dass es möglich ist, einen Gesichtserkenner zu trainieren, ohne Bilder zu kennzeichnen, die ein Gesicht enthalten oder nicht. Kontrollversuche zeigen, dass dieser Merkmalsdetektor nicht nur robust gegenüber Translationen, sondern auch gegenüber Skalierung und Rotation außerhalb der Ebene ist. Wir stellen auch fest, dass dasselbe Netzwerk empfindlich gegenüber anderen hochgradigen Konzepten ist, wie Katzen-Gesichtern und menschlichen Körpern. Ausgehend von diesen erlernten Merkmalen haben wir unser Netzwerk trainiert, um eine Genauigkeit von 15,8 % bei der Erkennung von 20.000 Objektkategorien aus ImageNet zu erzielen, was einer relativen Verbesserung von 70 % im Vergleich zum vorherigen Stand der Technik entspricht.