ConvLSTM com Auto-atenção para Previsão Espaciotemporal

A previsão espaciotemporal é desafiadora devido ao movimento dinâmico complexo e às mudanças de aparência. Trabalhos existentes concentram-se na incorporação de células adicionais ao ConvLSTM padrão para memorizar as aparências espaciais durante a previsão. Esses modelos sempre dependem das camadas de convolução para capturar a dependência espacial, que são locais e ineficientes. No entanto, as dependências espaciais de longo alcance são significativas para aplicações espaciais. Para extrair características espaciais com dependências globais e locais, introduzimos o mecanismo de auto-atenção no ConvLSTM. Especificamente, é proposto uma nova memória de auto-atenção (SAM) para memorizar características com dependências de longo alcance em termos de domínios espaciais e temporais. Com base na auto-atenção, a SAM pode produzir características agregando características em todas as posições tanto da entrada quanto das características da memória com pontuações de similaridade par-a-par. Além disso, a memória adicional é atualizada por um mecanismo de controle sobre as características agregadas e uma rodovia estabelecida com a memória do passo de tempo anterior. Portanto, através da SAM, podemos extrair características com dependências espaciotemporais de longo alcance. Além disso, embutimos a SAM em um ConvLSTM padrão para construir um ConvLSTM com auto-atenção (SA-ConvLSTM) para a previsão espaciotemporal. Nos experimentos, aplicamos o SA-ConvLSTM para realizar previsão de quadros nos conjuntos de dados MovingMNIST e KTH, e previsão de fluxo de tráfego no conjunto de dados TexiBJ. Nosso SA-ConvLSTM alcança resultados de ponta em ambos os conjuntos de dados com menos parâmetros e maior eficiência de tempo do que o método anterior de ponta.