Effiziente frequenzbereichsbasierte Transformatoren zur hochqualitativen Bildentschärfung

Wir präsentieren eine effektive und effiziente Methode, die die Eigenschaften von Transformatoren im Frequenzbereich zur hochqualitativen Bildentschärfung untersucht. Unsere Methode ist motiviert durch den Faltungssatz, dass die Korrelation oder Faltung zweier Signale im räumlichen Bereich einem elementweisen Produkt dieser im Frequenzbereich entspricht. Das inspiriert uns zur Entwicklung eines effizienten frequenzbereichsbasierten Selbstaufmerksamkeitslösers (FSAS), um die skalierte Punktproduktaufmerksamkeit durch eine elementweise Produktoperation anstelle der Matrizenmultiplikation im räumlichen Bereich zu schätzen. Darüber hinaus stellen wir fest, dass die bloße Verwendung des naiven Feedforward-Netzwerks (FFN) in Transformatoren keine guten entschärften Ergebnisse liefert. Um dieses Problem zu überwinden, schlagen wir ein einfaches, aber effektives diskriminatives frequenzbereichsbasiertes FFN (DFFN) vor, bei dem wir einen gesteuerten Mechanismus im FFN einführen, basierend auf dem JPEG-Kompressionsalgorithmus, um diskriminativ zu bestimmen, welche niedrig- und hochfrequenten Informationen der Merkmale für die latente Wiederherstellung klarer Bilder erhalten bleiben sollten. Wir formulieren das vorgeschlagene FSAS und DFFN in ein asymmetrisches Netzwerk basierend auf einer Encoder-Decoder-Architektur, wobei das FSAS nur im Decoder-Modul zur besseren Bildentschärfung verwendet wird. Experimentelle Ergebnisse zeigen, dass die vorgeschlagene Methode im Vergleich zu den neuesten Ansätzen vorteilhaft abschneidet.