PIF-Net : Un Réseau de Fusion de Points d'Image Profond pour la Segmentation Sémantique Multimodale d'Images Très Haute Résolution et de Nuages de Points Aériens

La segmentation sémantique revêt une grande importance dans de nombreuses applications. Cependant, automatiser une telle tâche sur des données à_MODALITE unique est difficile dans le domaine de la télédétection en raison de scènes complexes, d'occlusions et de données homogènes. Dans cet article, nous proposons un réseau de fusion de points d'image profond, à savoir PIF-Net, pour la segmentation sémantique multimodale. Le PIF-Net proposé comprend une structure encodeur-décodeur, où l'encodeur utilise deux branches indépendantes avec des blocs de Res-Pooling et des blocs d'attention sur les points (Pt-Atten) pour extraire des caractéristiques multimodales profondes et condensées, et le décodeur upsample ces caractéristiques. Un module de fusion hiérarchique est proposé pour fusionner de manière adaptative les caractéristiques multimodales à différents niveaux afin de garantir qu'elles soient complètement mélangées. Il sort des caractéristiques communes dans les représentations de points et de pixels, qui sont ensuite entrées dans un module de classification pour remplir les multiples tâches de classification et obtenir des résultats de segmentation sémantique d'image et de nuage de points. Le réseau proposé a été testé sur deux ensembles de données de référence : l'ensemble de données Urban Semantic 3-D (US3D) et l'ensemble de données ISPRS Vaihingen. Les résultats des évaluations ont montré que PIF-Net a atteint une précision globale (OA) de 91,5 % et 97,2 % pour la segmentation d'image et de points sur l'ensemble de données US3D, et une OA de 90,1 % et 89,3 % pour la segmentation d'image et de points sur l'ensemble de données ISPRS Vaihingen. Les comparaisons avec des méthodes existantes à_MODALITE unique et multimodale ont indiqué que PIF-Net surpassait la plupart des méthodes classiques et pouvait apporter des améliorations significatives. Il a également démontré que l'apprentissage multimodal profond présente de grands potentiels dans les applications de télédétection.