Inception-v4, Inception-ResNet und der Einfluss von Residualverbindungen auf das Lernen

Sehr tiefe konvolutionale Netzwerke sind in den letzten Jahren zentral für die größten Fortschritte bei der Leistung der Bild­erkennung gewesen. Ein Beispiel ist die Inception-Architektur, die gezeigt hat, dass sie mit relativ geringen Rechen­kosten sehr gute Leistungen erzielt. Kürzlich hat die Einführung von Residualverbindungen in Verbindung mit einer traditionelleren Architektur zu einer Spitzenleistung in der ILSVRC-Herausforderung 2015 geführt; ihre Leistung war vergleichbar mit der neuesten Generation des Inception-v3-Netzwerks. Dies wirft die Frage auf: Gibt es Vorteile bei der Kombination von Inception-Architekturen mit Residualverbindungen? Hier geben wir klare empirische Beweise dafür, dass das Training mit Residualverbindungen das Training von Inception-Netzwerken erheblich beschleunigt. Es gibt auch einige Hinweise darauf, dass Residual-Inception-Netzwerke ähnliche teure Inception-Netzwerke ohne Residualverbindungen nur knapp übertreffen. Wir präsentieren zudem mehrere neue optimierte Architekturen sowohl für Residual- als auch für nicht-Residual-Inception-Netzwerke. Diese Variationen verbessern die Bild­erkennungsleistung bei der ILSVRC 2012 Klassifizierungs­aufgabe erheblich. Darüber hinaus zeigen wir, wie eine angemessene Aktivierungsskalierung das Training sehr breiter Residual-Inception-Netzwerke stabilisiert. Mit einem Ensemble aus drei Residual- und einem Inception-v4-Netzwerk erreichen wir einen Top-5-Fehler von 3,08 % im Testset der ImageNet-Klassifizierungs­herausforderung.