Un transformateur de convolution hybride pour la classification d'images hyperspectrales

Les images hyperspectrales jouent un rôle crucial dans les applications de télédétection, la surveillance, l'environnement et l'agriculture de précision, contenant une abondante information sur les objets. Cependant, elles font souvent face à des défis tels que des données étiquetées limitées et des classes déséquilibrées. Ces dernières années, les réseaux neuronaux convolutionnels (CNN) ont montré des performances impressionnantes dans les tâches de vision par ordinateur, y compris la classification d'images hyperspectrales. L'émergence des transformateurs a également attiré l'attention pour l'analyse d'images hyperspectrales en raison de leurs capacités prometteuses. Néanmoins, les transformateurs exigent généralement une quantité substantielle de données d'entraînement, rendant leur application difficile dans des scénarios avec des échantillons étiquetés limités. Pour surmonter cette limitation, nous proposons un cadre de transformateur de convolution hybride. Notre méthode utilise un transformateur de vision et un modèle de réseau neuronal convolutionnel 3D résiduel. Elle utilise également une couche d'agrégation de séquence pour éviter les problèmes de surajustement qui surgissent lorsqu'il n'y a pas assez de données d'entraînement. Notre module d'attention de canal résiduel proposé capture des informations complémentaires spatialement et spectralement plus riches et maintient les détails spectraux pendant le processus d'extraction des caractéristiques. Nous avons réalisé des expériences sur trois ensembles de données de référence. Le modèle proposé a atteint des performances de pointe de 99,75 %, 99,46 % et 99,95 % en termes de précision globale (OA) en utilisant seulement 5 %, 5 % et 10 % d'échantillons d'entraînement étiquetés respectivement. Ce qui est meilleur que d'autres méthodes de pointe.