Classificação Conjunta de Dados Hiperespectrais e LiDAR Usando Rede de Fusão de Frequência Hierárquica Cross-Modal

A fusão de imagens hiperespectrais (HSIs) e dados LiDAR pode melhorar o desempenho da classificação de uso do solo. No entanto, os métodos de fusão existentes não consideram bem as grandes discrepâncias entre as duas modalidades (por exemplo, brilho, estrutura e o possível desalinhamento), levando a melhorias limitadas. Neste artigo, tratamos esse problema no domínio da frequência e propomos uma rede de fusão de frequência hierárquica cross-modal (HFNet) para a classificação conjunta de dados HSI e LiDAR. Primeiro, extraímos características convolucionais de múltiplos níveis de ambas as modalidades. Em seguida, exploramos mapas de ativação espacial para fundir adaptativamente recursos de frequência cross-modal em cada nível. Como as informações de amplitude e fase de duas modalidades são fundidas separadamente, o problema da discrepância é aliviado. Finalmente, concatenamos as características fundidas em todos os níveis para construir uma perda de classificação e uma perda de consistência de frequência auxiliar (FCL). A FCL permite que a característica concatenada prediga as informações de amplitude e fase dos dados de entrada, que atua como um termo de regularização e melhora a capacidade de discriminação do modelo. Resultados experimentais em dois conjuntos de dados mostram a superioridade da HFNet em relação aos métodos de ponta em termos de desempenho de classificação.