Réseaux de neurones encodeur–décodeur profonds pour la classification des données hyperspectrales et LiDAR

L'apprentissage profond (DL) suscite un intérêt croissant en télédétection (RS) en raison de sa puissante capacité de représentation des données. En particulier, les modèles profonds se sont avérés efficaces pour la classification des données RS basée sur une modalité donnée. Cependant, avec une seule modalité, la capacité à identifier les matériaux reste limitée en raison du manque de diversité des caractéristiques. Pour surmonter cette limitation, nous présentons une ligne de base multimodale DL simple mais efficace en suivant une architecture de réseau de neurones encodeur–décodeur profonde, appelée EndNet, pour la classification des données hyperspectrales et des données de détection et de télémétrie par lumière (LiDAR). EndNet fusionne les informations multimodales en obligeant les caractéristiques fusionnées à reconstruire l'entrée multimodale à leur tour. Une telle stratégie de reconstruction est capable de mieux activer les neurones entre les modalités par rapport à certaines stratégies de fusion conventionnelles et largement utilisées, par exemple, la fusion précoce, la fusion intermédiaire et la fusion tardive. Des expériences approfondies menées sur deux ensembles de données hyperspectrales et LiDAR populaires démontrent la supériorité et l'efficacité de l'EndNet proposé par rapport à plusieurs lignes de base à la pointe de la technologie dans la tâche de classification hyperspectrale-LiDAR. Les codes seront disponibles sur https://github.com/danfenghong/IEEEGRSLEndNet, contribuant à la communauté RS.