Rede Neural Convolucional de Gráfico de Vídeo-Linguagem para Reconhecimento de Ação Humana

Transferir modelos de linguagem visual (VLMs) do domínio da imagem para o domínio do vídeo recentemente trouxe grande sucesso em tarefas de reconhecimento de ações humanas. No entanto, paradigmas de reconhecimento padrão ignoram o conhecimento de análise de ações detalhada que poderia melhorar a precisão do reconhecimento. Neste artigo, propomos um método inovador que aproveita tanto o conhecimento de forma grosseira quanto de forma detalhada para reconhecer ações humanas em vídeos. Nosso método consiste em uma rede neural convolucional de gráfico de vídeo-linguagem que integra e funde conhecimentos multimodais de maneira progressiva. Avaliamos nosso método no Kinetics-TPS, um conjunto de dados de análise de ações em larga escala, e demonstramos que ele supera os métodos de ponta por uma margem significativa. Além disso, nosso método alcança melhores resultados com menos dados de treinamento e um custo computacional competitivo em comparação com os métodos existentes, mostrando a eficácia e eficiência do uso de conhecimento detalhado para reconhecimento de ação em vídeos humanos.