Vers un modèle guidé sémantiquement flexible pour l'amélioration et la restauration d'images uniques

L'amélioration d'images en faible luminosité (LLIE) cherche à améliorer la luminosité d'une image capturée dans des environnements mal éclairés. La majorité des méthodes existantes améliorent les images en faible luminosité de manière globale et uniforme, sans tenir compte des informations sémantiques des différentes régions. Par conséquent, un réseau peut facilement s'écarter de la couleur originale des régions locales. Pour remédier à ce problème, nous proposons un cadre basé sur la connaissance guidée sémantique (SKF) qui peut aider un modèle d'amélioration en faible luminosité à apprendre des préjugés riches et divers encapsulés dans un modèle de segmentation sémantique. Nous nous concentrons sur l'incorporation des connaissances sémantiques à partir de trois aspects clés : un module d'intégration sémantique qui intègre de manière adaptative les préjugés sémantiques dans l'espace de représentation des caractéristiques, une perte d'histogramme de couleur guidée sémantiquement qui préserve la cohérence colorimétrique de diverses instances, et une perte adversariale guidée sémantiquement qui produit des textures plus naturelles par le biais de préjugés sémantiques. Notre SKF est attrayant en tant que cadre général dans la tâche LLIE. Nous présentons en outre un cadre affiné SKF++ avec deux nouvelles techniques : (a) branche convolutionnelle supplémentaire pour la récupération de l'illumination et de la couleur intra-classe grâce à l'extraction d'informations locales et (b) transformation d'histogramme basée sur l'égalisation pour l'amélioration du contraste et l'ajustement de la plage dynamique élevée. Des expériences approfondies sur divers repères de la tâche LLIE et d'autres tâches de traitement d'image montrent que les modèles équipés de SKF/SKF++ surpassent significativement les références et que notre SKF/SKF++ se généralise bien à différents modèles et scènes. De plus, les avantages potentiels de notre méthode pour la détection faciale et la segmentation sémantique dans des conditions de faible luminosité sont discutés.