Omni Aggregation Netzwerke für leichte Bildsuperauflösung

Während das leichte ViT-Framework enorme Fortschritte bei der Bildsuperauflösung erzielt hat, beschränken das ein-dimensionale Selbstaufmerksamkeitsmodell sowie das homogene Aggregationsschema das effektive Empfangsfeld (ERF) und lassen umfassendere Interaktionen sowohl aus räumlichen als auch aus kanalbezogenen Dimensionen unberücksichtigt. Um diese Mängel zu beheben, schlägt diese Arbeit zwei verbesserte Komponenten unter einer neuen Omni-SR-Architektur vor. Zuerst wird ein Omni Self-Attention (OSA)-Block vorgeschlagen, der auf dem Prinzip der dichten Interaktion basiert und gleichzeitig Pixelinteraktionen aus beiden räumlichen und kanalbezogenen Dimensionen modellieren kann, wodurch potenzielle Korrelationen über die Omni-Achse (d.h. räumlich und kanalbezogen) erschlossen werden. In Verbindung mit den gängigen Fensterpartitionierungsstrategien kann OSA hervorragende Leistungen bei ansprechenden Rechenbudgets erzielen. Zweitens wird ein Mehrskalen-Interaktionsschema vorgeschlagen, um suboptimale ERF (d.h. vorzeitige Sättigung) in flachen Modellen zu verringern, was lokale Propagation und meso-/globale Interaktionen erleichtert und einen Omni-Skalen-Aggregationsbaustein darstellt. Umfangreiche Experimente zeigen, dass Omni-SR rekordhohe Leistungen bei leichten Superauflösungsbenchmarks erzielt (z.B. 26.95dB@Urban100 x4 mit nur 792K Parametern). Unser Code ist verfügbar unter https://github.com/Francis0625/Omni-SR.