Suivi visuel haute performance avec le réseau de propositions de régions siamoises

Le suivi d'objets visuels a été un sujet fondamental ces dernières années et de nombreux suiveurs basés sur l'apprentissage profond ont atteint des performances de pointe sur plusieurs benchmarks. Cependant, la plupart de ces suiveurs ont du mal à obtenir des performances optimales à vitesse réelle. Dans cet article, nous proposons le réseau de propositions de régions siamoises (Siamese-RPN) qui est entraîné de bout en bout hors ligne avec des paires d'images à grande échelle. Spécifiquement, il se compose d'un sous-réseau siamois pour l'extraction de caractéristiques et d'un sous-réseau de proposition de régions comprenant la branche de classification et la branche de régression. Dans la phase d'inférence, le cadre proposé est formulé comme une tâche de détection localisée à un seul coup. Nous pouvons pré-calculer la branche de modèle du sous-réseau siamois et formuler les couches de corrélation comme des couches de convolution triviales pour effectuer un suivi en ligne. Grâce à l'affinement des propositions, les tests multi-échelles traditionnels et le réglage fin en ligne peuvent être éliminés. Le Siamese-RPN fonctionne à 160 FPS tout en atteignant des performances de pointe dans les défis en temps réel VOT2015, VOT2016 et VOT2017.