Bildsuperauflösung mit dilatiertem Nachbarschafts-Attention-Transformer

Transformer-basierte Methoden haben beeindruckende Leistungen in der Bildsuperauflösung (SR) erzielt. Um die Rechenkosten und Redundanz der globalen Aufmerksamkeit zu reduzieren, verwenden die meisten transformer-basierten Methoden einen lokalisierten Aufmerksamkeitsmechanismus, der die wünschenswerten Eigenschaften von Selbst-Attention (SA) verringert, wie das effektive Modellieren langfristiger Abhängigkeiten und die Fähigkeit, ein globales Rezeptivfeld zu erfassen. Um dieses Problem zu lindern, schlagen wir einen dilatierten Nachbarschafts-Attention-Transformer für die Bild-SR (DiNAT-SR) vor, um SwinIR für die Bild-SR zu verbessern; dabei ersetzen wir SA durch DiNA, um mehr globale Daten zu erfassen und das Rezeptivfeld exponentiell wachsen zu lassen. Darüber hinaus führen wir einen konvolutionalen Modulationsblock in den Transformer ein, um die visuelle Darstellung zu verbessern und eine sanftere Konvergenz während des Trainings zu ermöglichen. Unsere Forschung hat zum ersten Mal die Machbarkeit von DiNA im Bereich der Bild-SR bestätigt. Experimentelle Ergebnisse haben die Wirksamkeit von DiNAT-SR gezeigt, mit besseren Ergebnissen im Vergleich zu SwinIR auf den meisten Benchmarks sowohl quantitativ als auch visuell. Wir bieten auch einen Vergleich von leichtgewichtigen Bild-SR-Modellen an, und unser Modell schneidet auf allen Benchmarks besser ab als SwinIR-light, mit ähnlichen Gesamtzahlen an Parametern und Gleitkommaoperationen. Die Wirksamkeit jeder eingeführten Komponente wird ebenfalls durch eine Ablationsstudie validiert.