Swin Transformer: Hierarchischer Vision Transformer mit verschobenen Fenstern

Dieses Papier präsentiert einen neuen Vision Transformer, genannt Swin Transformer, der als allgemeine Backbone für Computer Vision dient. Die Herausforderungen bei der Anpassung des Transformers von der Sprache zur Vision ergeben sich aus Unterschieden zwischen den beiden Bereichen, wie großen Variationen im Maßstab visueller Entitäten und der hohen Auflösung von Pixeln in Bildern im Vergleich zu Wörtern im Text. Um diese Unterschiede zu adressieren, schlagen wir einen hierarchischen Transformer vor, dessen Darstellung mit verschobenen Fenstern berechnet wird. Das verschobene Fenster-Schema bringt größere Effizienz, indem es die Berechnung der Selbstaufmerksamkeit auf nicht überlappende lokale Fenster beschränkt und gleichzeitig Verbindungen zwischen den Fenstern ermöglicht. Diese hierarchische Architektur hat die Flexibilität, auf verschiedenen Maßstäben zu modellieren und hat eine lineare Berechnungskomplexität in Bezug auf die Bildgröße. Diese Eigenschaften des Swin Transformers machen ihn mit einer breiten Palette von Vision-Aufgaben kompatibel, einschließlich der Bildklassifikation (87,3 % Top-1 Genauigkeit auf ImageNet-1K) und dichten Vorhersageaufgaben wie Objekterkennung (58,7 Box AP und 51,1 Mask AP auf COCO test-dev) und semantischer Segmentierung (53,5 mIoU auf ADE20K val). Seine Leistung übertrifft den bisherigen Stand der Technik um einen großen Abstand von +2,7 Box AP und +2,6 Mask AP auf COCO und +3,2 mIoU auf ADE20K und demonstriert das Potenzial von Transformer-basierten Modellen als Vision-Backbones. Das hierarchische Design und der Ansatz mit verschobenen Fenstern erweisen sich auch als vorteilhaft für alle MLP-Architekturen. Der Code und die Modelle sind öffentlich verfügbar unter ~https://github.com/microsoft/Swin-Transformer.