WildIng : Un modèle de représentation invariante des images de la faune face au changement de domaine géographique

Résumé La surveillance de la faune est essentielle pour étudier la perte de biodiversité et le changement climatique. Les images prises par des pièges photographiques fournissent une méthode non intrusive pour analyser les populations animales et identifier les patterns écologiques au fil du temps. Cependant, l'analyse manuelle est chronophage et demande beaucoup de ressources. L'apprentissage profond, en particulier les modèles fondamentaux, a été appliqué pour automatiser l'identification de la faune, atteignant de bonnes performances lorsqu'ils sont testés sur des données provenant des mêmes zones géographiques que leurs jeux d'entraînement. Pourtant, malgré leur potentiel, ces modèles peinent à se généraliser à de nouvelles zones géographiques, engendrant des chutes de performance significatives. Par exemple, entraîner un modèle avancé vision-langage, tel que CLIP avec un adaptateur, sur un jeu de données africain atteint une précision de 84,77 %. Cependant, cette performance chute fortement à 16,17 % lorsque le modèle est testé sur un jeu de données américain. Cette limitation provient en partie du fait que les modèles existants reposent principalement sur des représentations basées sur l'image, ce qui les rend sensibles aux décalages de distribution des données géographiques, tels que les variations de l'arrière-plan, de l'éclairage et des conditions environnementales. Pour y remédier, nous introduisons WildIng, un modèle de représentation invariante des images de la faune face au changement de domaine géographique. WildIng intègre des descriptions textuelles avec des caractéristiques d'image, créant une représentation plus robuste aux changements de domaine géographique. En exploitant les descriptions textuelles, notre approche capture des informations sémantiques cohérentes, telles que des descriptions détaillées de l'apparence des espèces, améliorant la généralisation à travers différentes localisations géographiques. Les expériences montrent que WildIng améliore la précision des modèles fondamentaux tels que BioCLIP de 30 % sous des conditions de changement de domaine géographique. Nous évaluons WildIng sur deux jeux de données collectés dans différentes régions, à savoir l'Amérique et l'Afrique. Le code et les modèles sont disponibles publiquement à https://github.com/Julian075/CATALOG/tree/WildIng .