Diffusion-RSCC: Modelo Probabilístico de Difusão para Legenda de Mudanças em Imagens de Sensoriamento Remoto

A legenda de mudanças em imagens de sensoriamento remoto (RSICC) tem como objetivo gerar uma linguagem semelhante à humana para descrever as mudanças semânticas entre pares de imagens de sensoriamento remoto bi-temporais. Isso fornece insights valiosos sobre dinâmicas ambientais e gestão do uso da terra. Diferentemente da tarefa convencional de legenda de mudanças, o RSICC envolve não apenas a recuperação de informações relevantes através de diferentes modalidades e a geração de legendas fluentemente, mas também a mitigação do impacto das diferenças em nível de pixel na localização de mudanças no terreno. O problema do pixel devido ao longo período de tempo diminui a precisão das legendas geradas. Inspirados pelo notável poder generativo do modelo de difusão, propomos um modelo probabilístico de difusão para o RSICC a fim de resolver os problemas mencionados. No processo de treinamento, construímos um preditor de ruído condicionado a características cross-modal para aprender a distribuição da distribuição real da legenda até a distribuição gaussiana padrão sob a cadeia de Markov. Enquanto isso, uma fusão cross-mode e um módulo de autoatenção empilhada são projetados para o preditor de ruído no processo reverso. Na fase de teste, o preditor de ruído bem treinado ajuda a estimar o valor médio da distribuição e gerar legendas de mudança passo a passo. Extensos experimentos no conjunto de dados LEVIR-CC demonstram a eficácia do nosso Diffusion-RSCC e de seus componentes individuais. Os resultados quantitativos mostram desempenho superior em relação aos métodos existentes tanto nas métricas tradicionais quanto nas recentemente aumentadas. O código e os materiais estarão disponíveis online em https://github.com/Fay-Y/Diffusion-RSCC.