Segmentation de mouvement monoculaire dense utilisant le flux optique et la carte de profondeur pseudo : Une approche sans apprentissage

La segmentation de mouvement à partir d'une seule caméra en mouvement représente un défi significatif dans le domaine de la vision par ordinateur. Ce défi est aggravé par les mouvements de caméra inconnus et l'absence d'informations de profondeur de la scène. Bien que l'apprentissage profond ait montré des capacités impressionnantes pour traiter ces problèmes, les modèles supervisés nécessitent un entraînement étendu sur d'énormes ensembles de données annotées, tandis que les modèles non supervisés nécessitent également un entraînement sur de grands volumes de données non annotées, ce qui constitue des obstacles importants pour les deux. En revanche, les méthodes traditionnelles basées sur le flux optique ne nécessitent pas de données d'apprentissage, cependant, elles échouent souvent à capturer les informations au niveau des objets, entraînant une sur-segmentation ou une sous-segmentation. De plus, elles ont également des difficultés dans des scènes complexes avec des variations significatives de profondeur et un mouvement non rigide, en raison de la dépendance excessive au flux optique. Pour surmonter ces défis, nous proposons une approche hybride innovante qui tire parti des avantages des méthodes d'apprentissage profond et des méthodes traditionnelles basées sur le flux optique pour effectuer une segmentation de mouvement dense sans nécessiter d'entraînement. Notre méthode commence par générer automatiquement des propositions d'objets pour chaque image en utilisant des modèles de base. Ces propositions sont ensuite regroupées en groupes de mouvement distincts en utilisant à la fois le flux optique et les cartes de profondeur relatives comme indices de mouvement. L'intégration des cartes de profondeur dérivées de modèles d'estimation de profondeur monoculaire à la pointe de la technologie améliore considérablement les indices de mouvement fournis par le flux optique, en particulier dans la gestion des problèmes de parallaxe de mouvement. Notre méthode est évaluée sur les ensembles de données DAVIS-Moving et YTVOS-Moving, et les résultats démontrent que notre méthode surpasse la meilleure méthode non supervisée et s'approche des méthodes supervisées à la pointe de la technologie.