Capturando as Regiões Temporais de Interesse para Legendação de Vídeos

Como um desafio crucial para a compreensão de vídeo, explorar a estrutura espaço-temporal dos vídeos tem atraído bastante atenção recentemente, especialmente na legendação de vídeos. Inspirados pela percepção de que as pessoas sempre se concentram em determinadas regiões de interesse do conteúdo dos vídeos, propomos uma abordagem inovadora que irá automaticamente focar nas regiões de interesse e capturar suas estruturas temporais. Em nossa abordagem, utilizamos um modelo de atenção específico para selecionar adaptativamente as regiões de interesse para cada quadro de vídeo. Em seguida, um Modelo Regressivo de Memória Dual (DMRM) é introduzido para incorporar a estrutura temporal de características globais e características de regiões de interesse em paralelo, o que irá obter uma compreensão geral do conteúdo do vídeo e informações particulares das regiões de interesse. Como o modelo de atenção pode não capturar sempre os interesses corretos, adotamos adicionalmente a supervisão semântica para atender às regiões de interesse de maneira mais precisa. Avaliamos nosso método para legendação de vídeos em dois benchmarks públicos: o Microsoft Video Description Corpus (MSVD) e o Montreal Video Annotation Dataset (M-VAD). Os experimentos demonstram que capturar informações temporais das regiões de interesse realmente aprimora a representação dos vídeos de entrada e nossa abordagem obtém resultados de ponta em métricas de avaliação populares, como BLEU-4, CIDEr e METEOR.