Une approche bayésienne de la robustesse OOD dans la classification d'images

Un problème important et non résolu en vision par ordinateur est de garantir que les algorithmes sont robustes aux changements de domaines d'images. Nous abordons ce problème dans le scénario où nous avons accès à des images des domaines cibles mais sans annotations. Motivés par les défis du benchmark OOD-CV où nous rencontrons des nuisances et des occlusions du monde réel hors domaine (OOD), nous introduisons une nouvelle approche bayésienne de la robustesse OOD pour la classification d'objets. Notre travail étend les Réseaux Neuraux Compositionnels (CompNets), qui ont démontré une robustesse face à l'occlusion mais se dégradent gravement lorsqu'ils sont testés sur des données OOD. Nous exploitons le fait que les CompNets contiennent une tête générative définie sur des vecteurs de caractéristiques représentés par des noyaux von Mises-Fisher (vMF), qui correspondent approximativement à des parties d'objets, et peuvent être appris sans supervision. Nous observons que certains noyaux vMF sont similaires entre différents domaines, tandis que d'autres ne le sont pas. Cela nous permet d'apprendre un dictionnaire de transition de noyaux vMF qui sont intermédiaires entre les domaines source et cible et d'entraîner le modèle génératif sur ce dictionnaire en utilisant les annotations du domaine source, suivi d'un affinage itératif. Cette approche, appelée Transition Générative Non Supervisée (UGT), fonctionne très bien dans des scénarios OOD même en présence d'occlusion. UGT est évalué sur différents benchmarks OOD, y compris le jeu de données OOD-CV, plusieurs jeux de données populaires (par exemple, ImageNet-C 9), des corruptions d'images artificielles (y compris l'ajout d'occludeurs), et le transfert de domaine synthétique à réel, et réussit bien dans tous les scénarios, surpassant les alternatives SOTA (par exemple, jusqu'à 10 % de précision top-1 sur le jeu de données OOD-CV occlus).