Frequenzbewusste tiefe Fokussierung

Bei der Großapertur-Bildgebung erfordert das Phänomen der geringen Tiefenschärfe (DoF) die Aufnahme mehrerer Bilder auf verschiedenen Fokusebenen, was es uns ermöglicht, Tiefeninformationen durch Techniken der Tiefenbestimmung aus Fokussierung (DFF) abzuleiten. Die meisten bisherigen Arbeiten entwerfen jedoch convolutionale neuronale Netzwerke aus einer zeitlichen Perspektive, was häufig zu verwischten feinen Details in der Tiefenschätzung führt. In dieser Arbeit schlagen wir ein frequenzbewusstes tiefes DFF-Netzwerk (FAD) vor, das mehrskalige lokale Merkmale im räumlichen Bereich mit globalen strukturellen Merkmalen im Frequenzbereich verbindet. Unsere wichtigsten Innovationen umfassen zwei Punkte: Erstens führen wir ein Modul zur Merkmalsgewinnung im Frequenzbereich ein, das die Fourier-Transformation verwendet, um latente Fokussierungsmerkmale in den Frequenzbereich zu übertragen. Dieses Modul erfasst adaptiert wesentliche Frequenzinformationen für Fokussierungsänderungen durch elementweise Multiplikation, wodurch feine Details in den Tiefenergebnissen hervorgehoben werden, während die globale strukturelle Integrität erhalten bleibt. Zweitens verbessert das Zeit-Frequenz-Gemeinschaftsmodul von FAD die Konsistenz der Tiefeninformationen in spärlichen Texturregionen und die Kontinuität in Übergangsbereichen aus sowohl lokalen als auch globalen komplementären Perspektiven. Umfassende Experimente zeigen, dass unser Modell überzeugende Verallgemeinerungsfähigkeiten aufweist und eine erstklassige Tiefenprognose über verschiedene Datensätze hinweg liefert. Darüber hinaus kann es schnell an reale Anwendungen als vortrainiertes Modell angepasst werden.