Ein ConvNet für die 2020er Jahre

Die „schreienden 20er“ der visuellen Erkennung begannen mit der Einführung der Vision Transformers (ViTs), die ConvNets schnell als das modernste Modell zur Bildklassifikation ablösten. Ein einfaches ViT hat jedoch Schwierigkeiten, wenn es auf allgemeine Aufgaben der Computer Vision angewendet wird, wie z.B. Objekterkennung und semantische Segmentierung. Es sind die hierarchischen Transformers (z.B. Swin Transformers), die mehrere ConvNet-Präferenzen wieder eingeführt haben, wodurch Transformers praktisch als generische Vision-Grundlage nutzbar sind und bemerkenswerte Leistungen in einer Vielzahl von Vision-Aufgaben zeigen. Die Effektivität solcher hybrider Ansätze wird jedoch immer noch überwiegend der intrinsischen Überlegenheit der Transformers zugeschrieben, und nicht den inhärenten induktiven Voreinstellungen der Faltungen. In dieser Arbeit überprüfen wir die Designräume und testen die Grenzen dessen, was ein reines ConvNet erreichen kann. Wir „modernisieren“ schrittweise ein Standard-ResNet in Richtung des Designs eines Vision Transformers und entdecken mehrere Schlüsselkomponenten, die zur Performance-Differenz beitragen. Das Ergebnis dieser Erkundung ist eine Familie reiner ConvNet-Modelle, die ConvNeXt genannt wird. Völlig aus Standard-ConvNet-Modulen gebaut, konkurrieren ConvNeXts günstig mit Transformers in Bezug auf Genauigkeit und Skalierbarkeit und erreichen eine Top-1-Genauigkeit von 87,8 % auf ImageNet und übertreffen Swin Transformers bei der COCO-Erkennung und ADE20K-Segmentierung, während die Einfachheit und Effizienz der Standard-ConvNets beibehalten wird.