Fusión de características profundas a través de una red neuronal convolucional de dos flujos para la clasificación de imágenes hiperespectrales

El poder de representación de los modelos de redes neuronales convolucionales (CNN) para el análisis de imágenes hiperespectrales (HSI) está, en la práctica, limitado por la cantidad disponible de muestras etiquetadas, que a menudo es insuficiente para sostener redes profundas con muchos parámetros. Proponemos un enfoque novedoso para aumentar el poder de representación de la red con una arquitectura de CNN 2-D de dos flujos. El método propuesto extrae simultáneamente las características espectrales y las características espaciales locales y globales, con dos redes CNN 2-D y utiliza correlaciones de canal para identificar las características más informativas. Además, proponemos una regularización específica de la capa y un esquema de fusión de normalización suave para aprender de manera adaptativa los pesos de fusión de las características espectro-espaciales de los dos flujos paralelos. Un activo importante de nuestro modelo es el entrenamiento simultáneo de la extracción de características, la fusión y los procesos de clasificación con la misma función de costo. Los resultados experimentales en varios conjuntos de datos hiperespectrales demuestran la eficacia del método propuesto en comparación con los métodos de última generación en el campo.