DeeDSR: Verbesserte reale Bildsuperauflösung durch degradation-aware stabile Diffusion

Diffusionsmodelle, bekannt für ihre leistungsstarken generativen Fähigkeiten, spielen eine entscheidende Rolle bei der Bewältigung von Herausforderungen der Superauflösung in der realen Welt. Diese Modelle konzentrieren sich jedoch oft darauf, lokale Texturen zu verbessern, während die Auswirkungen globaler Degradation vernachlässigt werden, was die semantische Treue erheblich verringern und zu ungenauen Rekonstruktionen sowie suboptimalen Superauflösungsleistungen führen kann. Um dieses Problem zu beheben, führen wir ein neuartiges zweistufiges, degradation-aware Framework ein, das die Fähigkeit des Diffusionsmodells verbessert, Inhalte und Degradationen in Bildern mit niedriger Auflösung zu erkennen. In der ersten Phase verwenden wir unüberwachtes kontrastives Lernen, um Darstellungen von Bilddegradationen zu erhalten. In der zweiten Phase integrieren wir ein degradation-aware Modul in ein vereinfachtes ControlNet, das eine flexible Anpassung an verschiedene Degradationen basierend auf den gelernten Darstellungen ermöglicht. Darüber hinaus zerlegen wir die degradation-aware Merkmale in globale Semantiken und lokale Detailzweige, die dann in das Diffusions-Denoising-Modul eingespeist werden, um die Zielgenerierung zu modulieren. Unsere Methode stellt effektiv semantisch präzise und fotorealistische Details wieder her, insbesondere unter erheblichen Degradationsbedingungen, und zeigt eine branchenführende Leistung in verschiedenen Benchmarks. Der Code wird auf https://github.com/bichunyang419/DeeDSR veröffentlicht.