S4: Sensoriamento Auto-Supervisionado Através do Espectro

A segmentação de séries temporais de imagens de satélite (SITS) é crucial para muitas aplicações, como monitoramento ambiental, mapeamento do uso da terra e classificação de tipos de culturas agrícolas. No entanto, treinar modelos para a segmentação de SITS continua a ser uma tarefa desafiadora devido à falta de dados de treinamento abundantes, que requerem anotações detalhadas. Propomos o S4, uma nova abordagem de pré-treinamento auto-supervisionado que reduz significativamente a necessidade de dados de treinamento rotulados, utilizando duas novas percepções: (a) Os satélites capturam imagens em diferentes partes do espectro, como frequências de rádio e frequências visíveis. (b) As imagens de satélite são geo-registradas, permitindo um alinhamento espacial detalhado. Usamos essas percepções para formular tarefas de pré-treinamento no S4. Também curamos o m2s2-SITS, um conjunto de dados em larga escala de SITS não rotulados, spatialmente alinhados, multi-modais e geograficamente específicos, que serve como dados representativos de pré-treinamento para o S4. Finalmente, avaliamos o S4 em múltiplos conjuntos de dados de segmentação de SITS e demonstramos sua eficácia em relação a linhas de base concorrentes, enquanto utilizamos dados rotulados limitados.