Echtzeit-Bildsegmentierung über hybride Convolutional-Transformer-Architektursuche

Die Bildsegmentierung ist eines der grundlegendsten Probleme der Computer Vision und hat aufgrund ihrer umfangreichen Anwendungen im Bildverständnis und beim autonomen Fahren viel Aufmerksamkeit erregt. Allerdings ist die Gestaltung effektiver und effizienter segmentierender neuronaler Architekturen ein arbeitsintensiver Prozess, der viele Versuche durch menschliche Experten erfordern kann. In diesem Papier adressieren wir die Herausforderung, Multi-Head-Selbstaufmerksamkeit effizient in Hochauflösungsrepräsentationen von CNNs zu integrieren, indem wir Architektursuche nutzen. Das manuelle Ersetzen von Faltungsschichten durch Multi-Head-Selbstaufmerksamkeit ist aufgrund des kostspieligen Speicheraufwands zur Aufrechterhaltung der hohen Auflösung nicht trivial. Im Gegensatz dazu entwickeln wir eine Multi-Target-Multi-Branch-Supernet-Methode, die nicht nur die Vorteile von hochauflösenden Merkmalen vollständig nutzt, sondern auch den geeigneten Standort zur Platzierung des Moduls für die Multi-Head-Selbstaufmerksamkeit findet. Unser Suchalgorithmus ist auf multiple Ziele (z. B. Latenz und mIoU) optimiert und in der Lage, Architekturen an der Pareto-Grenze mit beliebiger Anzahl von Zweigen in einer einzigen Suche zu finden. Zudem präsentieren wir eine Reihe von Modellen, die über die Methode der hybrid Convolutional-Transformer-Architektursuche (HyCTAS) nach der besten hybriden Kombination aus leichten Faltungsschichten und speichereffizienten Selbstaufmerksamkeits-Schichten zwischen Zweigen unterschiedlicher Auflösungen suchen und zu hohen Auflösungen fusionieren, um sowohl Effizienz als auch Wirksamkeit zu gewährleisten. Umfassende Experimente zeigen, dass HyCTAS frühere Methoden bei der semantischen Segmentierungsaufgabe übertrifft. Code und Modelle sind verfügbar unter https://github.com/MarvinYu1995/HyCTAS.