PDDA: Prompt-gesteuerte Domänenanpassung für die Entdunstung realer Bilder

Aufgrund der Komplexität und Vielfalt praktischer Umgebungen bleibt die Entdunstung realer Bilder ein ungelöstes Problem, wobei eine der Hauptschwierigkeiten darin besteht, die Verteilungsdifferenz zwischen synthetischen und realen Domänen zu überbrücken. Dieses Papier schlägt einen Prompt-gesteuerten Domänenanpassungs- (PDDA) Rahmen innerhalb der bi-level Optimierungsperspektive vor. Konkret führen wir eine hyperparameterbasierte bi-level Modellierung ein: Die Optimierung auf der unteren Ebene betont das Vorwissenserlernen innerhalb der synthetischen Domäne, um die Entdunstungsleistung zu stabilisieren, während die obere Ebene der Optimierung die domänenübergreifende Anpassungsfähigkeit verbessert, um sicherzustellen, dass das Modell über verschiedene Domänen generalisieren kann. Angesichts der Knappheit gepaarter Bilder mit realem Dunst trainieren wir lernbare Dunst-Prompts, indem wir die Text-Bild-Ähnlichkeit zwischen positiven/negativen Prompts und den entsprechenden klaren/dunstigen Bildern im CLIP-Latenzraum gemeinsam optimieren, um die Merkmale realen Dunstes effektiver zu erfassen. Basierend auf den gelernten Dunst-Prompts konstruieren wir eine unbeaufsichtigte domänenübergreifende Verlustfunktion, die durch Integration von Prompt-Lernen mit der bi-level Optimierungsstrategie die Anpassungsfähigkeit an komplexe reale Szenarien verbessert. Darüber hinaus führen wir eine umfassende Untersuchung durch, um die inhärenten Eigenschaften von PDDA aufzudecken, einschließlich architekturunabhängiger Flexibilität und domänenagnostischer Robustheit. Umfangreiche Experimente über eine Vielzahl von Benchmark-Datensätzen zeigen, dass unsere Methode sowohl quantitative als auch qualitative Verbesserungen über verschiedene Szenarien hinweg erzielt und eine robuste Leistung nicht nur bei realen Tageslichtbedingungen, sondern auch überlegene domänenübergreifende Anpassungsfähigkeit bei Nachtszenarien aufweist. Codes sind verfügbar unter https://github.com/YanZhang-zy/PDDA.git.