Détection et suivi de véhicules 3D monoculaires combinés

Les dimensions et trajectoires 3D des véhicules sont des indices essentiels pour prédire la localisation future des véhicules et planifier le mouvement égo des agents en fonction de ces prédictions. Dans cet article, nous proposons un cadre novateur en ligne pour la détection et le suivi 3D des véhicules à partir de vidéos monoculaires. Ce cadre peut non seulement associer les détections de véhicules en mouvement au fil du temps, mais aussi estimer leurs informations complètes de boîte englobante 3D à partir d'une séquence d'images 2D capturées sur une plateforme mobile. Notre méthode s'appuie sur un appariement en ordre de profondeur des boîtes 3D pour une association d'instances robuste et utilise la prédiction de trajectoire 3D pour la ré-identification des véhicules occlus. Nous concevons également un module d'apprentissage des mouvements basé sur un LSTM pour une extrapolation des mouvements à long terme plus précise. Nos expériences sur les ensembles de données simulation, KITTI et Argoverse montrent que notre pipeline de suivi 3D offre une association et un suivi de données robustes. Sur Argoverse, notre méthode basée sur des images est significativement meilleure pour le suivi de véhicules 3D à moins de 30 mètres que les méthodes de référence centrées sur LiDAR.