FBNetV2: Differenzierbare neuronale Architektur-Suche für räumliche und Kanaldimensionen

Differenzierbare neuronale Architektur-Suche (DNAS) hat großen Erfolg bei der Gestaltung von modernen, effizienten neuronalen Netzwerken gezeigt. Allerdings ist der Suchraum basierter DARTS-DNAS im Vergleich zu anderen Suchmethoden klein, da alle Kandidaten-Netzwerkschichten explizit im Speicher instanziiert werden müssen. Um dieses Engpassproblem zu lösen, schlagen wir eine speicher- und recheneffiziente DNAS-Variante vor: DMaskingNAS. Algorithmus erweitert den Suchraum um bis zu 10¹⁴x gegenüber konventionellem DNAS und unterstützt Suchen über räumliche und Kanaldimensionen, die ansonsten prohibitiv teuer wären: Eingangsauflösung und Anzahl der Filter. Wir schlagen einen Maskierungsmechanismus für die Wiederverwendung von Merkmalen vor, damit die Speicher- und Rechenkosten nahezu konstant bleiben, während der Suchraum wächst. Darüber hinaus setzen wir effektive Formenpropagation ein, um die Genauigkeit pro FLOP oder pro Parameter zu maximieren. Die gesuchten FBNetV2-Modelle erzielen eine marktführende Leistung im Vergleich zu allen vorherigen Architekturen. Mit bis zu 421x geringeren Suchkosten findet DMaskingNAS Modelle mit 0,9% höherer Genauigkeit und 15% weniger FLOPs als MobileNetV3-Small; und mit ähnlicher Genauigkeit, aber 20% weniger FLOPs als Efficient-B0. Darüber hinaus übertrifft unser FBNetV2 MobileNetV3 um 2,6% in der Genauigkeit bei entsprechender Modellgröße. FBNetV2-Modelle sind unter https://github.com/facebookresearch/mobile-vision als Open Source verfügbar.