MambaTrack : Une base simple pour le suivi d'objets multiples avec un modèle d'espace d'état

Le suivi par détection a été le paradigme dominant dans le domaine du suivi d'objets multiples (MOT). Ces méthodes s'appuient généralement sur le filtre de Kalman pour estimer les emplacements futurs des objets, en supposant un mouvement linéaire des objets. Cependant, elles sont limitées lorsqu'il s'agit de suivre des objets présentant un mouvement non linéaire et divers dans des scénarios comme la danse et le sport. De plus, il y a eu peu d'accent sur l'utilisation de prédicteurs de mouvement basés sur l'apprentissage dans le MOT. Pour relever ces défis, nous nous tournons vers l'exploration de méthodes de prédiction de mouvement basées sur les données. Inspiré par les grandes attentes des modèles d'espace d'état (SSM), tels que Mamba, dans la modélisation de séquences à long terme avec une complexité quasi-linéaire, nous introduisons un modèle de mouvement basé sur Mamba appelé Mamba moTion Predictor (MTP). MTP est conçu pour modéliser les motifs de mouvement complexes d'objets tels que les danseurs et les athlètes. Plus précisément, MTP prend les dynamiques de localisation spatio-temporelles des objets comme entrée, capture le motif de mouvement à l'aide d'une couche d'encodage bi-Mamba, et prédit le prochain mouvement. Dans des scénarios réels, des objets peuvent être manqués en raison d'occlusion ou de flou de mouvement, entraînant une interruption prématurée de leurs trajectoires. Pour faire face à ce défi, nous étendons davantage l'application de MTP. Nous l'utilisons de manière autorégressive pour compenser les observations manquantes en utilisant ses propres prédictions comme entrées, contribuant ainsi à des trajectoires plus cohérentes. Notre suiveur proposé, MambaTrack, démontre des performances avancées sur des références telles que Dancetrack et SportsMOT, qui se caractérisent par un mouvement complexe et une occlusion sévère.