Résumé L'adaptation de domaine non supervisée (UDA) vise à adapter un modèle entraîné sur un domaine source (données en temps clair) à un domaine cible (données en conditions météorologiques défavorables), sans nécessiter d'annotations dans le domaine cible. Les modèles récents de segmentation sémantique fonctionnent bien dans des conditions météorologiques claires, mais rencontrent des difficultés dans des conditions météorologiques défavorables, ce qui entraîne de mauvais résultats de segmentation. Il existe deux voies pour ces méthodes : concevoir un réseau pour la cartographie des caractéristiques ou extraire des caractéristiques invariantes au domaine en utilisant des informations supplémentaires, mais il est difficile d'apprendre des caractéristiques invariantes au domaine robustes. Pour résoudre ces problèmes, nous introduisons CLIP et concevons un réseau de fusion de caractéristiques à double flux (DSFF), et notre DSFF permet aux encodeurs CLIP et CNN de bénéficier mutuellement, ce qui augmente les performances du modèle. Ce design à double flux permet un renforcement mutuel entre les deux encodeurs, le CLIP gelé fournissant à l'encodeur CNN des indices sémantiques de haut niveau pertinents pour le domaine cible, tandis que l'encodeur CNN aide le CLIP à réduire le bruit dû à la météo. Des expériences approfondies montrent que notre méthode surpasse significativement d'autres méthodes, atteignant un mIoU de 59.0 sur Cityscapes vers ACDC.
Tian et al. (Mercredi,) ont étudié cette question.