Modélisation conjointe des indices de mouvement et d'apparence pour un suivi RGB-T robuste

Dans cette étude, nous proposons un nouveau cadre de suivi RGB-T en modélisant conjointement les indices d'apparence et de mouvement. Tout d'abord, pour obtenir un modèle d'apparence robuste, nous développons une nouvelle méthode de fusion tardive pour inférer les cartes de poids de fusion des modalités RGB et thermique (T). Les poids de fusion sont déterminés en utilisant des réseaux de fusion multimodale globaux et locaux entraînés hors ligne, puis adoptés pour combiner linéairement les cartes de réponse des modalités RGB et T. Deuxièmement, lorsque l'indice d'apparence est peu fiable, nous prenons en compte de manière exhaustive les indices de mouvement, à savoir les mouvements de la cible et de la caméra, afin de rendre le suivi robuste. Nous proposons en outre un commutateur de suivi pour passer de manière flexible entre les suiveurs d'apparence et de mouvement. De nombreux résultats sur trois ensembles de données de suivi RGB-T récents montrent que le tracker proposé fonctionne significativement mieux que d'autres algorithmes à la pointe de la technologie.